Model collapse i AI er en forringelse, der kan opstå, når nye generative modeller trænes på output fra ældre modeller uden nok originalt, varieret og kontrolleret datagrundlag. Resultatet kan være mindre variation, tab af sjældne mønstre og gradvist mere ensartede eller fejlbehæftede svar.
Model collapse er en gradvis forringelse, der kan opstå, når AI-modeller trænes på tidligere modeloutput uden nok originalt og varieret datagrundlag. Overblikket forklarer, hvorfor sjældne mønstre forsvinder, hvordan syntetiske data kan bruges forsigtigt, og hvilke kontrolpunkter der mindsker risikoen.
Hvorfor opstår model collapse?
Model collapse opstår i en feedbacksløjfe mellem data og model. En model lærer en forenklet statistisk version af de data, den er trænet på. Hvis dens egne eller andre modellers output senere bliver brugt som træningsdata, lærer næste generation ikke direkte fra den oprindelige fordeling, men fra en allerede komprimeret og fejlbehæftet gengivelse.
Problemet bliver tydeligere, når syntetiske data erstatter originale data i stedet for at supplere dem. Sjældne formuleringer, usædvanlige eksempler, minoritetsmønstre og små faglige nuancer har lavere sandsynlighed for at blive genskabt i hvert led. Når de ikke er til stede i de nye træningsdata, bliver de sværere for næste model at lære.
Det er derfor mere præcist at se model collapse som et datakvalitetsproblem end som en mystisk fejl i selve AI-systemet. Risikoen ligger i, at træningssættet begynder at ligne modeloutput mere end verden, brugerne og de oprindelige kilder, det skulle repræsentere.
Hvad sker der med modellen under kollaps?
I tidlige stadier kan en model stadig virke brugbar på almindelige opgaver, mens den mister evnen til at håndtere sjældne eller komplekse tilfælde. Output kan blive mere standardiseret, og modellen kan vælge sikre, hyppige mønstre frem for præcise, men sjældnere variationer. Det kan gøre problemet svært at opdage med brede gennemsnitstal alene.
I senere stadier kan modellen miste mere af sin statistiske bredde. Den kan blande begreber sammen, gentage snævre mønstre, levere tyndere svar eller producere resultater, der ikke længere afspejler den oprindelige datakilde. I tekstmodeller kan det vise sig som mindre sproglig variation og færre konkrete detaljer.
Risikoen handler ikke kun om synlige fejl. Et system kan se stabilt ud i en overordnet test, men samtidig være blevet ringere for edge cases, små sprog, nichefaglighed eller grupper, der kun fylder lidt i træningsdata. Derfor bør test af model collapse måle både gennemsnitlig kvalitet og tab af variation.
Er model collapse det samme som hallucinationer?
Model collapse og hallucinationer hænger sammen med generativ AI, men de beskriver ikke det samme. En hallucination er et konkret output, hvor modellen præsenterer en forkert eller opdigtet oplysning som om den var rigtig. Model collapse er en langsigtet forringelse i selve modellens lærte fordeling på grund af rekursiv eller dårligt kontrolleret træningsdata.
En model kan hallucinere uden at være kollapset. Det sker, fordi sprogmodeller forudsiger sandsynlige tokenmønstre og ikke automatisk har adgang til sandhed, kontekst eller opdaterede kilder. Omvendt kan model collapse øge risikoen for fladere, mindre præcise eller mere fejlagtige output, fordi træningsgrundlaget bliver fattigere.
Hvis du arbejder med AI-løsninger, giver det mening at skelne mellem de to problemer. Hallucinationer håndteres ofte med evaluering, grounding af AI-modeller, kildekontrol og begrænsning af anvendelsesområdet. Model collapse kræver især styring af træningsdata, provenance og forholdet mellem syntetiske og originale data.
Hvorfor er sjældne data særligt udsatte?
Generative modeller lærer sandsynligheder. Hyppige mønstre bliver stærkere repræsenteret, mens sjældne mønstre kræver nok eksempler og nok variation til at overleve gennem træning. Når en model genererer syntetiske data, har den tendens til at gengive det mest sandsynlige frem for hele bredden i den oprindelige fordeling.
Det kan sammenlignes med at lave gentagne kopier af en kompleks samling, hvor hver kopi kun bevarer det mest typiske. Efter flere runder kan samlingen stadig ligne sig selv på overfladen, men de små kategorier og usædvanlige kombinationer er forsvundet. I AI kan det ramme tekniske nichebegreber, dialekter, minoritetssprog, sjældne fejltyper og atypiske brugerbehov.
Det er en af grundene til, at repræsentativitet ikke kun handler om mængden af data. Store datamængder kan stadig være svage, hvis de er ensartede, uklare i oprindelse eller domineret af maskinskabt indhold, der allerede har frasorteret variationen.
Betyder det, at syntetiske data altid er farlige?
Syntetiske data er ikke i sig selv et problem. De kan være nyttige til test, anonymisering, datasimulering, sikkerhedstræning og udvidelse af begrænsede datasæt, hvis de bliver mærket, kvalitetssikret og holdt op mod originale data. Risikoen opstår, når syntetiske data ukritisk får lov til at erstatte den virkelige eller menneskeligt verificerede variation.
Forskningen peger især på forskellen mellem to scenarier. I det svage scenarie trænes hver ny model næsten kun på output fra den forrige model. I det stærkere scenarie bevares originale data, nye verificerede data tilføjes, og syntetiske data bruges som et kontrolleret supplement.
| Datapraksis | Typisk risiko | Bedre kontrolpunkt |
|---|---|---|
| Syntetiske data erstatter originale data | Tab af variation og sjældne mønstre | Bevar originale datasæt og dokumenter datakilder |
| Syntetiske data blandes ukendt ind i webdata | Uklart træningsgrundlag og svær fejlsporing | Mærk, filtrer og evaluer data efter oprindelse |
| Syntetiske data bruges målrettet og testet | Lavere, men stadig kontekstafhængig risiko | Mål kvalitet på både almindelige og sjældne cases |
Hvordan adskiller model collapse sig fra overfitting?
Overfitting betyder, at en model lærer træningsdata for snævert og derfor klarer sig dårligt på nye eksempler. Model collapse handler derimod om, at selve træningsdata ændrer karakter over flere modelgenerationer. Problemet ligger ikke kun i, at én model lærer for meget af et datasæt, men i at datasættet gradvist mister information.
Der er også forskel på model collapse og mode collapse. Mode collapse bruges især om generative modeller, der kun producerer få typer output og ignorerer andre mulige variationer. Model collapse er bredere, fordi det beskriver en rekursiv træningsproces, hvor datadistributionen degenererer over tid.
For en praktisk AI-ansvarlig betyder skellet noget. Overfitting kan ofte undersøges med klassiske train-test-split, regularisering og generaliseringstest. Model collapse kræver også dokumentation af datakilder, mærkning af syntetisk indhold, versionsstyring af træningsdata og test på tværs af modelgenerationer.
Hvorfor er problemet relevant for store sprogmodeller?
Store sprogmodeller trænes på enorme tekstmængder, og en stigende del af det offentlige web kan indeholde maskinskrevet tekst. Hvis sådan tekst ikke kan identificeres, kan den indgå i fremtidige træningskorpora. Dermed kan nye modeller indirekte lære af tidligere modellers stil, fejl og begrænsninger.
Det betyder ikke, at enhver ny transformer-model i AI automatisk kollapser. Store modeludviklere bruger typisk omfattende filtrering, datasætstyring, evaluering og menneskelig feedback. Men risikoen gør dataoprindelse mere værdifuld, især når modeller trænes eller finjusteres på domænedata, supportdialoger, interne dokumenter eller webscrapede kilder.
For mindre organisationer kan problemet opstå i en mere jordnær version. Hvis du finjusterer en model på dokumenter, som i stigende grad er skrevet af tidligere AI-systemer uden faglig kontrol, kan modellen lære organisationens gentagelser, fejl og tomme standardsvar som om de var gode eksempler.
Hvordan kan model collapse påvirke virksomheder?
Den mest sandsynlige virksomhedseffekt er ikke et pludseligt sammenbrud, men gradvis kvalitetsforringelse. Kundesvar kan blive mere ens, vidensbaser kan fyldes med gentaget AI-sprog, og interne modeller kan miste evnen til at håndtere specialtilfælde. Det kan især ramme miljøer, hvor AI-output automatisk publiceres og senere bruges som nyt træningsgrundlag.
Risikoen er størst, når tre ting sker samtidig: syntetisk indhold mærkes ikke, kvaliteten kontrolleres kun overfladisk, og nye modeller trænes eller finjusteres på data fra samme lukkede kredsløb. I den situation kan fejl og forenklinger forstærkes, fordi systemet ikke får nok uafhængig korrektion.
Praktisk styring bør derfor begynde med dataflowet. Kortlæg hvilke dokumenter, tickets, transskriptioner, produkttekster og svarskabeloner der kan blive brugt til fremtidig træning eller fine-tuning af sprogmodeller. Marker derefter, hvilke dele der er menneskeligt verificerede, maskinskabte eller blandede.
Hvilke tegn kan pege på begyndende kollaps?
Der findes ikke én simpel indikator, der beviser model collapse i et produktionssystem. Flere signaler kan dog pege på, at datagrundlaget eller modellen mister variation. Det vigtigste er at måle udviklingen over tid og sammenligne med faste evalueringssæt, der indeholder både almindelige og sjældne cases.
- Output bliver kortere, mere generiske eller mere ens på tværs af forskellige input.
- Modellen bliver dårligere til nichebegreber, små datakategorier eller sjældne fejlsituationer.
- Faglige svar mister konkrete detaljer, selv om den overordnede formulering lyder korrekt.
- Automatiske scores ser stabile ud, mens manuelle tests viser fald i variation eller præcision.
- Nye træningsdata indeholder en stigende andel umærket AI-genereret indhold.
Hvis et evalueringssæt kun består af brede standardopgaver, kan tidligt kollaps overses. Du bør derfor gemme små, kuraterede testsæt med sjældne og forretningskritiske eksempler, så du kan se, om en ny modelgeneration bliver ringere på det, der normalt drukner i gennemsnittet.
Hvordan kan risikoen begrænses i praksis?
Den første kontrol er at kende datakilderne. Træningsdata, evalueringsdata og data til retrieval bør have metadata om oprindelse, tidspunkt, ansvarlig kilde og eventuel AI-generering. Uden provenance bliver det svært at afgøre, om fejl skyldes modellen, datakilden eller en rekursiv feedbacksløjfe.
Den anden kontrol er at fastholde originale og menneskeligt verificerede data. Forskning i model collapse viser, at friske eller akkumulerede originale data kan ændre risikobilledet markant sammenlignet med et scenarie, hvor syntetiske data erstatter tidligere data. Det gælder især for data med sjældne mønstre.
Den tredje kontrol er at teste på variation, ikke kun på gennemsnitlig nøjagtighed. Du kan bruge faste evalueringssæt for minoritetskategorier, usædvanlige brugerintentioner, lavfrekvente produkter og komplekse faglige spørgsmål. Hvis variationen falder, bør datamiks og træningsproces undersøges, før modellen rulles bredere ud.
Hvilken rolle spiller embeddings og retrieval?
Embeddings og retrieval kan mindske nogle symptomer på dårlig modelviden, fordi modellen kan få adgang til eksterne dokumenter i stedet for kun at svare ud fra sine parametre. Det løser dog ikke automatisk model collapse, hvis dokumentbasen selv er fuld af ukontrolleret syntetisk indhold.
Når du bruger AI-embeddings i en søge- eller RAG-løsning, bør du derfor behandle vidensbasen som et aktivt datasæt. Dokumenter bør kunne spores, opdateres, fjernes og kvalitetstjekkes. Ellers kan retrieval blot hente de samme forenklede eller fejlbehæftede formuleringer tilbage til modellen.
En robust løsning kombinerer ofte flere lag: kurateret vidensbase, tydelig dataproveniens, test af kildedækning, begrænsning af automatisk genpublicering og løbende kontrol af svar på sjældne spørgsmål. På den måde bruges retrieval som en kilde til konkret information, ikke som et kredsløb for genbrug af ukontrolleret AI-output.
Hvad bør man gøre før man træner på AI-genereret indhold?
Før AI-genereret indhold bruges til træning eller finjustering, bør formålet være klart. Syntetiske data kan være relevante, hvis de dækker et konkret hul, simulerer en sjælden situation eller gør et følsomt datasæt mindre identificerbart. De bør ikke bruges som billig erstatning for ukendt eller manglende datakvalitet.
- Adskil originale, menneskeligt verificerede og syntetiske data i datasættet.
- Bevar ældre originale data, så nye modelgenerationer ikke kun lærer af seneste output.
- Test syntetiske data mod domæneeksperter, regler og faste evalueringssæt.
- Mål særskilt på sjældne kategorier, små sprog, nicheemner og kritiske fejltyper.
- Dokumenter, hvor stor en syntetisk andel der bruges, og hvorfor den er valgt.
Den praktiske tommelfingerregel er enkel: AI-genereret data skal kunne forklares, spores og afvises. Hvis du ikke ved, hvor data kommer fra, hvad det repræsenterer, eller hvilke fejl det kan videreføre, er det et svagt grundlag for ny modeltræning.
Hvilke kilder ligger til grund?
Den centrale forskningskilde er Nature-studiet AI models collapse when trained on recursively generated data, publiceret 24. juli 2024, samt den tilhørende arXiv-version The Curse of Recursion. Artiklen bygger også på statistisk analyse af syntetisk træning, forskning i akkumulering af realdata og syntetiske data og NISTs Generative AI Profile fra juli 2024.