Hvad betyder parameterstørrelser i sprogmodeller?

Parameterstørrelser i sprogmodeller angiver, hvor mange lærte vægte modellen bruger til at forudsige og generere sprog. Tallet siger noget om kapacitet og ressourcekrav, men ikke alene om kvalitet, sikkerhed eller egnethed til en bestemt opgave.

Hvad er en parameter i en sprogmodel?

En parameter er en numerisk værdi, som modellen justerer under træning. I en sprogmodel er parametre typisk vægte i et neuralt netværk. Vægtene bestemmer, hvordan modellen omdanner tekststykker til sandsynligheder for næste ord, tegn eller token.

Parametre er ikke det samme som de ord, du skriver til modellen. De ligger i modellen efter træningen og ændres normalt ikke, når du bruger modellen til almindelige svar. Når modellen svarer, bruger den sine lærte vægte sammen med den aktuelle inputtekst til at beregne et sandsynligt output.

Hvis en model har 8 milliarder parametre, betyder det derfor ikke, at den kan huske 8 milliarder fakta. Det betyder, at den har 8 milliarder justerbare tal, som tilsammen former dens sproglige mønstergenkendelse, generalisering og fejlmønstre.

Hvorfor måles modeller i milliarder af parametre?

Moderne sprogmodeller er så store, at parameterantal ofte skrives med engelske forkortelser. 7B, 8B, 70B eller 175B betyder henholdsvis cirka 7, 8, 70 eller 175 milliarder parametre. I dansk talnotation svarer det engelske “billion” til “milliard”.

Parameterantallet bruges som en enkel, synlig indikator for modelstørrelse. Det gør det lettere at skelne mellem små modeller til lokal drift, mellemstore modeller til specialiserede opgaver og meget store modeller, der kræver tung infrastruktur.

Tallet er dog kun en del af billedet. To modeller med samme parameterantal kan opføre sig forskelligt, hvis de er trænet på forskellige data, bruger forskellig arkitektur, har forskellig kontekstlængde eller er tilpasset med forskellige sikkerheds- og instruktionslag.

Hvordan hænger parameterstørrelse sammen med modelkvalitet?

Flere parametre kan give en model større kapacitet til at repræsentere sproglige mønstre. Det er en af grundene til, at store transformer-baserede modeller har været centrale i udviklingen af generativ AI og GPT og transformer-modeller.

Forskningslitteraturen om skalering viser, at tab og ydeevne kan forbedres, når modelstørrelse, datamængde og beregningskraft øges under kontrollerede forhold. Det betyder ikke, at parameterantal alene kan forudsige, hvilken model der giver det bedste svar i en konkret arbejdssituation.

Kvalitet afhænger også af datasættets sammensætning, træningsmål, evaluering, tilpasning efter træning og de begrænsninger, udbyderen har lagt ind. En stor model kan stadig give upræcise svar, hvis opgaven kræver opdaterede fakta, domæneviden, beregninger eller dokumenteret kildebrug.

Hvorfor er flere parametre ikke altid bedre?

En større model har flere vægte, men også større krav til træning, drift og kontrol. Hvis datamængden ikke følger med, kan modellen blive mindre effektiv end en mindre model, der er trænet mere balanceret. Det er en central pointe fra Chinchilla-linjen i skalering af sprogmodeller.

Flere parametre kan også give højere latenstid, højere energiforbrug og dyrere infrastruktur. For mange praktiske opgaver er det vigtigere, at modellen svarer stabilt, hurtigt og med lav fejlrate, end at den har flest mulige vægte.

Du bør derfor læse parameterantal som et kapacitetsmål, ikke som en rangliste. En 70B-model kan være stærkere end en 7B-model på brede sproglige opgaver, men en veltilpasset mindre model kan være bedre til en smal proces, hvor format, hastighed og datakontrol betyder mest.

Hvordan spiller træningsdata og beregningskraft sammen med parametre?

Parameterantal, træningsdata og beregningskraft er tæt forbundne. En model med mange parametre kræver normalt mange træningseksempler og stor beregningskapacitet for at udnytte vægtene effektivt. Hvis kun én af de tre faktorer vokser, kan resultatet blive ubalanceret.

Skalering handler derfor ikke kun om at bygge en større model. Det handler om at afveje antal parametre, antal træningstokens, datakvalitet og træningsbudget. Chinchilla-resultaterne viste, at tidligere store modeller i flere tilfælde var undertrænede i forhold til deres størrelse.

For brugere betyder det, at en offentlig parameterangivelse bør læses sammen med oplysninger om træningsdata, evalueringsmetode og modeltype. Hvis udbyderen ikke oplyser disse forhold, er parameterantallet en grov markør, ikke en fuld teknisk vurdering.

Hvad betyder parameterstørrelse for hardware?

Parameterstørrelse påvirker, hvor meget hukommelse en model kræver. Som grov tommelfingerregel fylder en vægt omkring 2 byte i 16-bit format før overhead. En 8B-model kan derfor kræve omkring 16 GB alene til vægte i dette format, mens en 70B-model kræver langt mere.

Den praktiske belastning omfatter mere end selve vægtene. Drift kræver også plads til kontekst, mellemberegninger, batchstørrelse, cache, systemsoftware og eventuelle sikkerheds- eller søgelag. Kvantisering kan reducere hukommelsesforbruget, men kan påvirke præcision og stabilitet.

Hvis du vurderer lokal drift, bør du derfor se på hele driftsprofilen: hukommelse, grafikkort, processor, svartid, parallelle brugere, modellicens og krav til databeskyttelse. Parameterantal er kun det første tal i kapacitetsregnestykket.

Store modeller kræver flere beregninger pr. svar. Det kan gøre dem langsommere og dyrere, især hvis mange brugere skal betjenes samtidig, eller hvis svarene skal være lange. Små modeller kan ofte levere kortere svartid og lavere omkostning pr. opgave.

Prisen afhænger dog af flere forhold end parameterantal. En udbyder kan optimere hardware, bruge specialiserede chips, cache dele af beregningen eller tilbyde forskellige modelklasser. Derfor kan to modeller med forskellig størrelse være svære at sammenligne direkte ud fra offentlig pris alene.

I en organisation bør modelvalg begynde med opgaven: Skal modellen skrive udkast, klassificere henvendelser, trække felter ud, søge i dokumenter eller hjælpe med kode? Smalle opgaver kan ofte løses med mindre modeller, mens brede analyseopgaver kan kræve større kapacitet.

Hvordan adskiller parameterantal sig fra kontekstvindue?

Parameterantal beskriver, hvor mange lærte vægte modellen har. Kontekstvindue beskriver, hvor meget input modellen kan have med i den enkelte kørsel. De to tal hænger ikke automatisk sammen, selv om de begge påvirker, hvordan modellen opleves i praksis.

En model kan have mange parametre og kort kontekstvindue, eller færre parametre og længere kontekstvindue. Lang kontekst kan være nyttig til dokumentanalyse, men den garanterer ikke, at modellen bruger alle oplysninger korrekt. Stor modelkapacitet kan hjælpe med ræsonnement, men den erstatter ikke relevant input.

Når du sammenligner modeller til videnarbejde, bør du derfor se på både parameterantal, kontekstvindue, nøjagtighed i lange svar og evnen til at fastholde kilder. Det er især relevant i opgaver med NLP, hvor sproglig nuance og dokumentstruktur betyder meget.

Hvordan bør du sammenligne to sprogmodeller?

En god sammenligning starter med den konkrete opgave. Hvis modellen skal skrive kundesvar, er tone, format og stabilitet centrale. Hvis den skal støtte analyse, er kildehåndtering og præcision vigtigere. Hvis den skal køre lokalt, er hukommelse og svartid afgørende.

Parameterantal bør indgå sammen med mindst seks andre forhold:

• Modelarkitektur og om alle parametre bruges i hvert svar.
• Træningsdata, datakvalitet og kendte begrænsninger.
• Evalueringsresultater på opgaver, der ligner din egen brug.
• Kontekstvindue og evne til at håndtere lange dokumenter.
• Driftskrav, svartid, prisstruktur og mulighed for lokal kørsel.
• Databeskyttelse, logning, adgangsstyring og sikkerhedslag.

Det er mere nyttigt at teste modeller på realistiske opgaver end at vælge den største model på papiret. En lille testpakke med kendte rigtige svar, vanskelige formuleringer og fejlscenarier giver ofte et bedre beslutningsgrundlag end parameterstørrelse alene.

Hvilke misforståelser opstår ofte om parameterstørrelser?

Den første misforståelse er, at flere parametre betyder flere gemte fakta. Parametre er ikke en database. De er vægte, som modellerer statistiske sammenhænge i sproget. En model kan derfor lyde sikker og stadig give en forkert oplysning.

Den anden misforståelse er, at en større model altid hallucinerer mindre. Størrelse kan hjælpe på nogle typer generalisering, men AI-hallucinationer afhænger også af opgavetype, kildegrundlag, instruktionskvalitet, evaluering og efterkontrol.

Den tredje misforståelse er, at parameterantal kan sammenlignes frit på tværs af alle modeltyper. En tæt model, en specialiseret model og en model, der kun aktiverer dele af sine vægte, kan have meget forskellige driftsprofiler. Offentlige tal bør derfor læses sammen med teknisk dokumentation.

Hvad betyder parameterstørrelser i praksis for organisationer?

I praktisk brug bør parameterstørrelse oversættes til risiko, drift og opgaveløsning. En stor model kan være relevant, når opgaven kræver bred sproglig forståelse, komplekse instruktioner eller fleksibel problemløsning. En mindre model kan være bedre, når opgaven er fast, gentagelig og følsom for svartid.

For organisationer er det nyttigt at skelne mellem tre niveauer. Først kommer opgaveegnethed: Kan modellen levere det rigtige format og den rigtige præcision? Dernæst kommer drift: Kan den køre hurtigt, stabilt og økonomisk? Til sidst kommer governance: Kan data, adgang, logning og fejl håndteres forsvarligt?

Parameterantal hjælper især i den anden vurdering, fordi større modeller typisk kræver mere hardware og flere beregninger. I den første og tredje vurdering er evaluering, arbejdsgang, dokumentation og kontrolpunkter ofte vigtigere end selve størrelsen.

Hvordan kan mindre modeller stadig være nyttige?

Mindre modeller kan være stærke, når opgaven er tydeligt afgrænset. Klassifikation, udtræk af faste felter, sproglig omskrivning, intern søgning, enkel dialog og lokale assistenter kan ofte løses uden den største tilgængelige model.

De kan også være lettere at køre tæt på data. Det kan være relevant, hvis organisationen ønsker lokal drift, lavere latenstid eller mere kontrol over integrationsmiljøet. Mindre modeller kan desuden finjusteres eller tilpasses med eksterne videnskilder, hvis opgaven kræver et smalt domæne.

Ulempen er, at mindre modeller ofte har mindre bred generalisering. De kan fejle hurtigere ved uklare instruktioner, sammensatte opgaver eller usædvanlige formuleringer. Derfor bør de testes på grænsetilfælde, ikke kun på de pæne eksempler.

Hvad viser kendte eksempler som GPT-3, Chinchilla og Llama 3?

GPT-3 er et historisk tydeligt eksempel på en stor autoregressiv sprogmodel med 175B parametre. OpenAI-forskernes paper viste, at opskalering kunne forbedre opgaveagnostisk få-eksempel-ydeevne, men paperet beskrev også begrænsninger og metodiske udfordringer.

Chinchilla-resultatet flyttede fokus fra ren modelstørrelse til balancen mellem parametre og træningstokens. Det viste, at en mindre model kan klare sig stærkt, hvis den er trænet mere compute-effektivt. Det er grunden til, at parameterantal i dag ofte vurderes sammen med træningsdata og compute.

Llama 3-familien viser, hvordan nyere modeller offentliggøres i flere størrelsesklasser. Meta-forskernes paper beskriver blandt andet en tæt transformer på 405B parametre og et kontekstvindue på op til 128K tokens. Det gør Llama 3 til et nyttigt eksempel på, at parameterstørrelse, kontekst og modeludgivelse er forskellige tekniske dimensioner.

Hvordan bruger du parameterstørrelse som beslutningsgrundlag?

Brug parameterstørrelse som et startpunkt, ikke som en endelig dom. Først bør du definere opgaven og fejltyperne: Hvad må modellen ikke misforstå, hvor hurtigt skal den svare, og hvilke data må den se? Derefter kan du vælge en modelklasse, der passer til kravene.

En praktisk rækkefølge kan være:

1. Beskriv opgaven med rigtige eksempler og kendte fejlsvar.
2. Test en mindre, en mellemstor og eventuelt en stor model på samme materiale.
3. Mål kvalitet, svartid, stabilitet, omkostning og krav til menneskelig kontrol.
4. Vælg den mindste model, der løser opgaven pålideligt nok.
5. Gentest modellen, når data, arbejdsgange eller udbyderens modelversion ændrer sig.

Denne rækkefølge gør parameterantal konkret. En større model kan være det rigtige valg, men den bør vælges, fordi den løser en dokumenteret opgave bedre, ikke fordi parameterantallet i sig selv virker mere imponerende.

Hvilke kilder ligger til grund?

Artiklen bygger især på OpenAI-forskernes paper Language Models are Few-Shot Learners, Kaplan m.fl. om scaling laws for neural language models, DeepMind-forskernes paper Training Compute-Optimal Large Language Models og Meta-forskernes The Llama 3 Herd of Models.