OpenAIs forsøg med ARC-AGI-3 viser, at en AI-agents hukommelse og tekniske opsætning kan påvirke et benchmark næsten lige så synligt som selve modellen. GPT-5.6 Sol steg fra 13,3 til 38,3 procent på det offentlige opgavesæt, da ræsonnement blev bevaret og lang kontekst komprimeret.
ARC-AGI-3 viser, at hukommelse og kontekthåndtering kan ændre en AI-agents målte resultat uden at ændre selve modellen. Forskellen mellem et fælles benchmark-harness og en produktionsnær opsætning forklarer, hvorfor organisationer bør teste hele AI-systemet og dokumentere både kvalitet, ressourceforbrug og begrænsninger.
Hvad har OpenAI ændret?
OpenAI offentliggjorde den 29. juli 2026 et nyt forsøg med GPT-5.6 Sol på ARC-AGI-3. Selskabet ændrede ikke modelvægtene. I stedet erstattede det benchmarkets generelle afviklingsmiljø med en opsætning gennem Responses API, som bedre svarer til den måde, modellen bruges på i ChatGPT og Codex.
To ændringer var centrale. Systemet bevarede modellens private ræsonnement mellem handlinger, og det erstattede løbende sletning af gammel historik med compaction, som sammenfatter konteksten. På det offentlige opgavesæt steg scoren fra 13,3 til 38,3 procent, mens modellen ifølge OpenAI brugte omkring seks gange færre outputtokens.
Forsøget handler derfor ikke om en ny version af GPT-5.6 Sol. Det viser, at et benchmark måler en samlet løsning: model, instruktioner, kontekst, værktøjer og den kode, som styrer samspillet.
Hvad er ARC-AGI-3?
ARC-AGI-3 er et interaktivt benchmark for AI-agenter. Agenten møder ukendte todimensionale spil uden en forklaring på reglerne. Den skal udforske miljøet, registrere virkningen af sine handlinger, danne en arbejdshypotese og ændre strategi, når nye observationer modsiger hypotesen.
Det adskiller testen fra statiske spørgsmål, hvor modellen afleverer ét svar. Et spil kan kræve mange handlinger over lang tid. Derfor måler ARC-AGI-3 blandt andet planlægning, løbende læring, hukommelse og evnen til at overføre en opdaget regel fra ét niveau til det næste.
ARC Prize beskriver 135 håndbyggede miljøer, som hver er løst af mindst to mennesker uden særlig træning. Offentligheden kan spille et mindre demosæt, mens den fulde evaluering også omfatter opgaver, der ikke er offentligt kendte.
Hvad måler RHAE-scoren?
ARC-AGI-3 bruger målet Relative Human Action Efficiency, forkortet RHAE. Scoren kombinerer, hvor mange niveauer agenten gennemfører, med hvor mange handlinger den bruger sammenlignet med mennesker, der ser spillet for første gang. Senere niveauer vægter mere end de tidlige.
En score på 100 procent betyder, at systemet gennemfører alle spil og matcher eller overgår den menneskelige reference i handlingseffektivitet. En lavere score kan derfor skyldes både uløste niveauer og en omstændelig løsning.
OpenAI anslår ud fra officielle spillelogfiler, at den gennemsnitlige menneskelige testperson opnåede 48 procent på det offentlige sæt. Det tal er ikke det samme som benchmarkets formelle reference for hvert niveau, som bygger på den øvre median blandt førstegangsspillere.
Hvad er et benchmark-harness?
Et harness er den tekniske ramme, som forbinder modellen med opgaven. Det sender observationer til modellen, modtager en handling, udfører handlingen i miljøet og gemmer den historik, som næste trin bygger på. I en agentisk arbejdsgang fungerer harnesset som både styring og hukommelse.
| Lag | Opgave | Mulig betydning for resultatet |
|---|---|---|
| Model | Fortolker observationer og vælger handlinger | Bestemmer grundlæggende kapacitet og fejlmønstre |
| Prompt | Forklarer format, mål og tilgængelige handlinger | Kan gøre opgaven mere eller mindre tydelig |
| Tilstand | Bevarer tidligere observationer og beslutninger | Påvirker om agenten kan lære over flere trin |
| Kontekthåndtering | Forkorter historikken, når den bliver lang | Afgør hvilke erfaringer der fortsat er tilgængelige |
| Målemetode | Omsætter gennemførte niveauer og handlinger til en score | Bestemmer hvilke typer succes der belønnes |
ARC Prize valgte et generelt harness uden modelspecifikke funktioner for at gøre modeller lettere at sammenligne. OpenAI valgte i det nye forsøg en modelspecifik opsætning for at ligne produktionsbrug. Begge valg besvarer et relevant, men forskelligt spørgsmål.
Hvorfor ændrede bevaret ræsonnement resultatet?
I det officielle harness blev modellens private ræsonnement fjernet efter hver spilhandling. Modellen kunne stadig se tidligere træk og korte noter, men ikke de interne planer og observationer, som havde ført til dem. Hvert nyt trin krævede derfor delvis genfortolkning af spillet.
Responses API kan føre denne skjulte ræsonnementstilstand videre til næste svar. Den rå tankekæde bliver ikke vist til brugeren, men modellen kan fortsætte fra tidligere arbejde. OpenAI observerede, at GPT-5.6 Sol derefter brugte mindre ræsonnement pr. handling og fastholdt mere sammenhængende strategier.
Effekten svarer ikke til almindelig hukommelse om en bruger på tværs af tjenester. Det er tilstand inde i én flertrinsopgave. Skellet er centralt, når man vurderer kontekstvinduer og tokens: adgang til tidligere trin kan forbedre sammenhængen uden at ændre modellens træning.
Hvordan virker compaction?
Lange agentforløb kan overskride modellens kontekstvindue. Det officielle ARC-harness håndterede grænsen ved løbende at fjerne de ældste beskeder, når historikken nåede 175.000 tegn. Agenten mistede dermed tidligere handlinger og observationer.
Compaction reducerer i stedet kontekstens størrelse og fører centrale oplysninger videre i en kompakt, maskinlæsbar tilstand. OpenAIs dokumentation beskriver både automatisk serverbaseret komprimering ved en valgt tokengrænse og et særskilt endpoint, hvor udvikleren selv udløser processen.
En sammenfatning er ikke tabsfri hukommelse. Det valgte system kan bevare nyttige regler og planer, men også udelade en detalje, som senere viser sig vigtig. Compaction bør derfor vurderes på den konkrete opgave og ikke behandles som en garanti for, at hele historikken er bevaret.
Hvad viser tallene, og hvad viser de ikke?
Resultatet viser, at GPT-5.6 Sol klarede det offentlige ARC-AGI-3-sæt væsentligt bedre med bevaret ræsonnement og compaction end med det officielle harness. Det viser også, at den tilpassede kørsel producerede færre outputtokens. Begge resultater er relevante for langvarige agentopgaver.
- 13,3 og 38,3 procent er scorer på det offentlige opgavesæt, ikke på hele den skjulte test.
- Forsøget sammenligner to systemopsætninger omkring samme model.
- De seks gange færre outputtokens er OpenAIs eget resultat i denne test, ikke et generelt pris- eller hastighedsløfte.
- En højere score dokumenterer ikke, at modellen er blevet tre gange mere intelligent.
- 38,3 procent er fortsat under OpenAIs anslåede menneskelige gennemsnit på 48 procent for det offentlige sæt.
ARC Prizes tidligere analyser fandt desuden fejl, som ikke kun kan forklares med tabt historik. Modeller kunne registrere en lokal effekt uden at danne den rigtige overordnede regel, hænge fast i kendte spilanalogier eller gennemføre et niveau uden at have forstået mekanikken.
Hvorfor er sammenlignelighed vanskelig?
Et ens harness gør det lettere at sammenligne modeller under samme betingelser. Det kan samtidig stille en model dårligere, hvis den er trænet til at bruge særlige former for tilstand, værktøjskald eller kontekststyring. Et leverandørtilpasset harness kan vise realistisk produktionsydelse, men gør det sværere at afgøre, om forskellen skyldes modellen eller systemet omkring den.
En fair rapportering bør derfor vise begge lag. Modeltesten fortæller, hvad en model kan under en fælles protokol. Systemtesten fortæller, hvad en konkret løsning kan, når leverandøren bruger sine foretrukne indstillinger. De to scorer bør ikke blandes i én rangliste uden en tydelig beskrivelse af opsætningen.
Samme princip gælder evaluering af prompts. Et resultat kan ændre sig med instruktioner, værktøjer, kontekstgrænse, antal forsøg og kriteriet for succes. Reproducerbarhed kræver, at disse valg følger med scoren.
Hvad betyder resultatet for udviklere og indkøbere?
For udviklere viser forsøget, at tilstandshåndtering er en del af produktets funktion, ikke blot teknisk oprydning. En agent, der analyserer dokumenter, kode eller sager over mange trin, bør testes med den samme API, kontekstpolitik og værktøjskæde, som skal bruges i drift.
Indkøbere kan ikke nøjes med et offentligt modeltal. En praktisk evaluering bør bruge repræsentative opgaver og måle både opgavekvalitet, fejl, menneskelig kontrol, tokenforbrug, svartid og stabilitet over lange forløb. Den bør også registrere, om et godt resultat afhænger af en lukket leverandørfunktion, som ikke kan flyttes til en anden model eller platform.
Det nye forsøg ændrer ikke automatisk tidligere benchmarkplaceringer. Det tilføjer en anden forsøgsbetingelse og gør forskellen mellem modelkapacitet og systemkapacitet mere synlig.
Hvad betyder det for organisationer i Danmark?
Virksomheder, skoler og offentlige arbejdspladser kan bruge nyheden som en konkret påmindelse om at dokumentere hele evalueringsopsætningen. En pilot bør afspejle det faktiske arbejdssprog, dokumenttyper, rettigheder og længden af de forløb, som systemet forventes at håndtere. OpenAIs forsøg dokumenterer ikke særskilte resultater på dansk.
Hvis en AI-løsning falder i en højrisikokategori efter EU’s AI-forordning, skal den blandt andet opnå et passende niveau af nøjagtighed, robusthed og cybersikkerhed gennem sin livscyklus. Forordningen fremhæver også udvikling af benchmarks og målemetoder. En ARC-AGI-3-score er ikke dokumentation for, at disse krav er opfyldt i en konkret anvendelse.
Langvarig agenttilstand rejser desuden et særskilt dataspørgsmål. Før personoplysninger eller fortrolige dokumenter indgår i et flertrinsforløb, bør organisationen afklare, hvad der gemmes, hvor længe tilstanden består, hvem der har adgang, og hvordan indhold kan slettes. Benchmarkforsøget beskriver ydeevne, ikke vilkårene for en bestemt organisations databehandling.
Hvilke kontroller bør følge med en agenttest?
En brugbar intern evaluering skal kunne gentages og forklare, hvorfor resultatet ændrede sig. Det kræver en fast forsøgsprotokol og en separat vurdering af de fejl, som scoren skjuler.
- Fastlæg opgaver, datasæt og succesmål, før modellerne testes.
- Registrér modelversion, API, prompt, værktøjer og kontekstgrænser.
- Kør både korte og lange forløb, så tab af historik bliver synligt.
- Mål kvalitet, ressourceforbrug og menneskelig efterkontrol samlet.
- Gennemgå konkrete fejlforløb i stedet for kun at sammenligne gennemsnit.
- Gentag testen efter ændringer i model, compaction eller integrationer.
Processen kan afsløre, om en forbedring kommer fra bedre ræsonnement, bedre hukommelse eller blot en ændret målemetode. Den gør det også muligt at opdage, når en kompakt kontekst bevarer den forkerte hypotese og fører fejlen videre gennem resten af opgaven.
Hvilke kilder ligger til grund?
Artiklen bygger på OpenAIs forsøg med GPT-5.6 Sol og ARC-AGI-3. Benchmarkets formål og opbygning er kontrolleret mod ARC Prizes beskrivelse af ARC-AGI-3 og den officielle RHAE-metode. Den tekniske forklaring følger OpenAIs dokumentation for compaction, mens EU-vinklen bygger på EU’s AI-forordning.