Hvad er Mixture of Experts (MoE)?

Mixture of Experts (MoE) er en modelarkitektur, hvor en router vælger få specialiserede dele af modellen for hvert token i stedet for at aktivere hele modellen. Det giver højere samlet parameterkapacitet med lavere aktiv beregning, men kræver styring af routing, belastning og kvalitet.

Hvordan fungerer en Mixture of Experts-model?

En Mixture of Experts-model består af flere delmodeller, som kaldes eksperter, og en router, der afgør, hvilke eksperter der skal behandle den aktuelle del af inputtet. I moderne sprogmodeller sker valget ofte for hvert token og i flere lag gennem modellen.

Den grundlæggende idé er betinget beregning. En tæt model bruger typisk de samme parametre på alle input. En MoE-model har flere parametre til rådighed, men aktiverer kun en mindre del ad gangen. Derfor kan modellen have stor samlet kapacitet uden at bruge hele kapaciteten ved hver beregning.

• Routeren modtager en intern repræsentation af inputtet og vælger en eller flere eksperter.
• De valgte eksperter behandler tokenet og sender deres output videre.
• Modellen kombinerer eksperternes output og fortsætter gennem de næste lag.

MoE er derfor ikke en separat type kunstig intelligens, men en måde at organisere en model på. Den kan bruges sammen med en transformer-model, som er den arkitektur mange store sprogmodeller bygger på.

Hvad betyder eksperter i denne sammenhæng?

En ekspert er ikke en menneskelig ekspert og heller ikke nødvendigvis en del af modellen, der kan forklares med et enkelt emne som jura, kode eller sprog. I teknisk forstand er en ekspert et sæt neurale netværksparametre, som modellen kan vælge at bruge i en bestemt beregning.

I transformer-baserede MoE-modeller placeres eksperterne ofte i feedforward-delen af transformerlaget. Det betyder, at den almindelige opmærksomhedsmekanisme stadig kan være fælles, mens bestemte beregningstrin sendes gennem udvalgte eksperter. Eksperterne kan efter træning ende med forskellige mønstre, men de er ikke manuelt navngivne fagmoduler.

Det gør begrebet lidt misvisende. Eksperterne er specialiserede i statistisk forstand, fordi træningen har fordelt opgaver mellem dem. De er ikke garanti for korrekt viden, forklaringsevne eller stabil adfærd i et bestemt fagområde.

Hvorfor bruges MoE i store sprogmodeller?

Store sprogmodeller kræver kapacitet til at indfange mønstre i meget store datamængder. En oplagt vej er at gøre modellen tættere og større, men en tæt model aktiverer sine parametre bredt, hver gang den bruges. Det øger kravene til beregning, hukommelse og serverkapacitet.

MoE forsøger at skille samlet kapacitet fra aktiv beregning. En model kan have mange parametre, men kun bruge en del af dem for hvert token. Det er grunden til, at MoE ofte omtales i samme samtale som parameterstørrelser i sprogmodeller: det samlede parametertal fortæller ikke alene, hvor tung modellen er at køre.

For udviklere og modeludbydere er målet ofte at få mere viden og flere mønstre ind i modellen uden samme stigning i beregning pr. svar. For brugeren kan resultatet være hurtigere eller billigere modelkørsel end en tæt model med samme samlede antal parametre. Det afhænger dog af implementering, hardware, batchstørrelse og routing.

Hvordan adskiller MoE sig fra en tæt model?

Forskellen handler især om, hvor mange parametre der aktiveres for et konkret input. En tæt model bruger i grove træk hele modellens relevante lag hver gang. En sparse MoE-model har flere mulige ekspertveje, men vælger kun få af dem i hvert trin.

MoE gør altså ikke en model mindre i absolut forstand. Den ændrer, hvor meget af modellen der bruges på én gang.

Hvad sker der med tokens, router og kontekst?

Når en sprogmodel behandler tekst, arbejder den med tokens. Et token kan være et ord, en del af et ord, tegnsætning eller en anden tekstbid afhængigt af modellens tokenisering. Derfor hænger MoE tæt sammen med, hvordan tokens og kontekstvinduer fungerer i sprogmodeller.

I mange MoE-designs kan routeren vælge eksperter for hvert token i hvert relevant lag. To nabotokens kan derfor ende med forskellige ekspertvalg. Det betyder ikke, at routeren læser teksten som et menneske. Den beregner en sandsynlig fordeling ud fra modellens interne repræsentation og sender tokenet videre til de eksperter, som modellen har lært at bruge.

Konteksten spiller stadig en rolle, fordi tokenets interne repræsentation påvirkes af de andre tokens i kontekstvinduet. MoE ændrer ikke det grundlæggende mål: modellen beregner næste sandsynlige output ud fra mønstre i input og træning. Den ændrer den vej, beregningen tager gennem modellen.

Hvilke fordele kan MoE give?

Den mest praktiske fordel ved MoE er bedre udnyttelse af beregning. En model kan have høj samlet kapacitet, men behøver ikke aktivere alle parametre for hvert token. Det kan give en mere effektiv balance mellem kvalitet, hastighed og omkostning, hvis systemet er bygget og trænet godt.

MoE kan også give plads til mere specialisering i modellen. Eksperter kan lære forskellige mønstre, sprog, kodeformer eller opgavetyper, selv om de ikke nødvendigvis kan navngives præcist efter træning. Det kan være nyttigt i modeller, der skal håndtere mange domæner og mange inputtyper.

• Højere samlet kapacitet uden samme aktive beregning pr. token.
• Mulighed for, at forskellige eksperter lærer forskellige mønstre.
• Bedre skaleringsmuligheder for modeludbydere med stor infrastruktur.
• Mere fleksibel afvejning mellem modelstørrelse, latenstid og pris.

Fordelene kommer ikke automatisk. En dårligt balanceret MoE-model kan bruge eksperterne skævt, blive svær at træne eller give ustabile resultater.

Hvilke begrænsninger følger med MoE?

MoE gør modelarkitekturen mere kompleks. Routeren skal fordele tokens mellem eksperter, og eksperterne skal kunne køre effektivt på den underliggende hardware. Hvis for mange tokens sendes til de samme eksperter, kan enkelte dele af systemet blive flaskehalse, mens andre eksperter bruges for lidt.

Switch Transformer-forskningen beskriver netop kompleksitet, kommunikationsomkostninger og træningsinstabilitet som barrierer for bred brug af MoE. Det er ikke kun en teoretisk udfordring. I drift skal eksperterne ofte fordeles på flere acceleratorer, og data skal flyttes hurtigt nok mellem dem.

Der er også en forskel mellem træning og anvendelse. Under træning skal modellen lære både eksperternes indhold og routerens fordeling. Under anvendelse skal systemet give stabile svar uden unødvendig ventetid. Begge dele kræver teknisk styring, som ikke ses direkte i modelnavnet.

Hvordan påvirker MoE kvalitet, stabilitet og hallucinationer?

MoE kan forbedre en models kapacitet, men arkitekturen fjerner ikke de almindelige problemer ved generativ AI. En MoE-model kan stadig give upræcise oplysninger, fejlslutninger eller svar, der lyder sikre uden at være korrekte. AI-hallucinationer handler om outputadfærd, datagrundlag, evaluering og brugskontekst, ikke kun om modelarkitektur.

Kvaliteten afhænger af træningsdata, modelmål, evaluering, sikkerhedslag og den konkrete brug. MoE kan give mere kapacitet til at lære mønstre, men mere kapacitet er ikke det samme som dokumenteret sandhed. En model kan være teknisk effektiv og stadig kræve kildekontrol ved faktuelle svar.

Stabilitet er også et særskilt spørgsmål. Hvis routeren fordeler arbejdet skævt, eller hvis eksperter specialiserer sig på uhensigtsmæssige måder, kan modellen blive sværere at optimere. Derfor indgår belastningsbalance og routingtab ofte som en del af træningsdesignet.

Hvordan hænger MoE sammen med nyere åbne modeller?

Et dokumenteret eksempel er Mistral AIs Mixtral of experts fra 11. december 2023. Mistral beskriver Mixtral 8x7B som en sparse MoE-model med otte ekspertgrupper, hvor en router vælger to eksperter for hvert token i hvert lag.

Mistral oplyser også, at Mixtral har 46,7 milliarder samlede parametre, men kun bruger 12,9 milliarder aktive parametre pr. token. Tallene viser den centrale MoE-pointe: samlet modelkapacitet og aktiv beregning kan være forskellige størrelser.

Det betyder ikke, at alle MoE-modeller fungerer som Mixtral. Antallet af eksperter, antallet af aktive eksperter, routingmetoden og placeringen af MoE-lag kan variere. Mixtral er nyttig som konkret eksempel, fordi arkitekturen og tallene er offentligt beskrevet.

Hvad betyder MoE for virksomheder og udviklere?

For virksomheder og udviklere er MoE især relevant, når en model skal vurderes teknisk og økonomisk. Et højt samlet parametertal kan lyde tungt, men den aktive beregning pr. token kan være lavere. Omvendt kan en MoE-model kræve mere kompliceret infrastruktur end en mindre tæt model.

Hvis en organisation i Danmark vurderer en MoE-baseret model, bør fokus ikke kun ligge på arkitekturen. Datavilkår, licens, hosting, sikkerhed, evalueringsresultater, svartid og integrationskrav betyder mindst lige så meget i praksis. MoE siger noget om modellen, men ikke alt om brugsvilkår og risiko.

MoE kan være attraktivt ved store arbejdsbelastninger, hvor effektiv inference betyder meget. Det kan være mindre relevant, hvis behovet er enkel lokal drift, gennemsigtig modelstyring eller et meget afgrænset domæne, hvor en mindre tæt model leverer tilstrækkelig kvalitet.

Hvornår er MoE relevant at kende som bruger?

Som almindelig bruger behøver du sjældent vide, om en model bruger MoE. Du ser normalt kun svartid, pris, begrænsninger, kvalitet og eventuelle fejl. Arkitekturen bliver relevant, når en udbyder bruger MoE til at forklare modelstørrelse, hastighed eller kapacitet.

MoE er også relevant, når modeller sammenlignes ud fra parametertal. En MoE-model med mange samlede parametre kan bruge færre aktive parametre pr. token end tallet antyder. Derfor er det upræcist at sammenligne modeller alene på samlet størrelse.

Hvis du bruger en model til videnstungt arbejde, bør vurderingen bygge på faktiske tests i den opgave, du skal løse. Arkitektur kan forklare nogle forskelle, men den erstatter ikke evaluering af output, kildekontrol og databehandling.

Hvordan skal MoE vurderes, når du vælger en model?

MoE bør vurderes som én teknisk egenskab blandt flere. En god vurdering skelner mellem, hvad modellen lover, hvad der er dokumenteret, og hvad der kan måles i din egen brug. Det gælder både åbne modeller, API-modeller og modeller, der kører i en privat infrastruktur.

1. Tjek både samlede parametre og aktive parametre pr. token, hvis tallene er dokumenteret.
2. Se efter uafhængige eller klart beskrevne evalueringer på relevante opgaver.
3. Vurder latenstid, pris og hardwarekrav i den konkrete arbejdsgang.
4. Kontrollér licens, datavilkår og mulighed for intern eller europæisk hosting, hvis det er relevant.
5. Afprøv modellen på egne eksempler, før den bruges til beslutninger eller offentlig tekst.

Hvis modellen skal tilpasses, er MoE heller ikke det eneste spørgsmål. Fine-tuning af sprogmodeller, retrieval, evaluering og sikkerhedsfiltre kan være vigtigere for den konkrete løsning end selve MoE-arkitekturen.

Hvad er den korte konklusion?

Mixture of Experts er en skaleringsmetode for neurale netværk, hvor en router vælger udvalgte eksperter i stedet for at aktivere hele modellen. Den centrale gevinst er, at samlet modelkapacitet kan øges uden samme aktive beregning pr. token.

Den centrale begrænsning er, at MoE flytter kompleksitet ind i routing, træning og drift. Arkitekturen kan være effektiv, men den siger ikke alene, om en model er korrekt, sikker, billig, nem at drive eller velegnet til en bestemt opgave.

Hvilke kilder ligger til grund?

Kildegrundlaget er især Noam Shazeer m.fl.s forskningsartikel Outrageously Large Neural Networks, Fedus, Zoph og Shazeers Switch Transformer-artikel og Mistral AIs tekniske introduktion til Mixtral. Kilderne er brugt til at kontrollere MoE-begrebet, routing, sparse aktivering, dokumenterede begrænsninger og Mixtral-eksemplet.