Multimodal AI er kunstig intelligens, der kan forstå, kombinere eller generere flere datatyper som tekst, billeder, lyd og video. Teknologien gør det muligt at stille spørgsmål til et billede, analysere tale sammen med tekst eller bruge flere sanseagtige input i samme AI-arbejdsgang.
Multimodal AI er kunstig intelligens, der kan arbejde med flere datatyper som tekst, billeder, lyd og video i samme opgave. Overblikket forklarer, hvordan modaliteter kobles sammen, hvor teknologien giver praktisk værdi, og hvilke begrænsninger, datakrav og sikkerhedsrisici der skal vurderes.
Hvad betyder multimodal AI?
En modalitet er en type information. Tekst er én modalitet, billeder en anden, lyd en tredje og video en kombination af flere spor over tid. Multimodal AI handler om modeller og systemer, der kan bruge mere end én af disse informationsformer i samme opgave.
Det afgørende er ikke blot, at systemet accepterer flere filtyper. En ægte multimodal løsning kan forbinde information på tværs af modaliteter. Den kan for eksempel koble en billeddetalje til en tekstbeskrivelse, forstå at en lydfil indeholder tale, eller bruge både et diagram og en brugerbesked til at svare mere præcist.
Multimodal AI er derfor en udvidelse af klassisk tekstbaseret generativ AI. Hvor en almindelig chatbot primært arbejder med ord, kan en multimodal model også behandle visuelle, auditive eller tidsbaserede signaler. Det gør teknologien mere anvendelig i arbejdsgange, hvor viden ikke kun findes som tekst.
Hvilke datatyper kan multimodal AI arbejde med?
De mest almindelige modaliteter er tekst, billeder, lyd og video. Tekst kan være beskeder, dokumenter, tabeller eller kode. Billeder kan være fotos, skærmbilleder, diagrammer, scannede dokumenter eller produktbilleder. Lyd kan være tale, møder, interviews eller miljølyde. Video samler typisk billedsekvenser, lyd og tidslig kontekst.
Nogle systemer arbejder også med strukturerede data, sensordata, 3D-data eller brugerhandlinger. I praksis afhænger mulighederne af den konkrete model og det produkt, den bruges igennem. En model kan være stærk til billedeforståelse, men uden lydinput. En anden kan håndtere tale og tekst, men ikke generere billeder.
| Modalitet | Typisk input | Typisk opgave |
|---|---|---|
| Tekst | Spørgsmål, dokumenter og instruktioner | Opsummering, forklaring og dialog |
| Billede | Fotos, grafer, skærmbilleder og formularer | Beskrivelse, klassifikation og visuel fejlfinding |
| Lyd | Tale, møder og optagelser | Transskribering, analyse og stemmebaseret dialog |
| Video | Klips, undervisning, overvågning og demonstrationer | Hændelsesforståelse, tidslinjer og multimodal søgning |
Hvordan forbinder modellen tekst, billeder, lyd og video?
Multimodale modeller bruger repræsentationer, der gør forskellige datatyper sammenlignelige for modellen. Et billede kan omsættes til numeriske mønstre, en tekst til sproglige vektorer og en lydfil til akustiske eller transskriberede signaler. Modellen lærer derefter sammenhænge mellem de mønstre.
En vigtig teknik er at placere forskellige modaliteter i et beslægtet repræsentationsrum. Hvis et billede af en cykel og teksten “en rød cykel foran en mur” betyder noget lignende, skal deres repræsentationer ligge tættere på hinanden end et tilfældigt billede og en irrelevant tekst. Det princip er centralt i mange vision-language-modeller.
I nyere foundation models er koblingen ofte mere integreret. Modellen kan modtage flere inputtyper i samme kontekst og bruge en fælles modelarkitektur til at ræsonnere over dem. Det betyder ikke, at modellen forstår verden som et menneske, men at den kan beregne relationer mellem flere typer signaler.
Hvordan adskiller multimodal AI sig fra almindelig sprog-AI?
Almindelig sprog-AI arbejder primært med teksttokens. Den kan være meget stærk til at skrive, forklare og sammenfatte, men den har ikke direkte adgang til visuelle eller auditive detaljer, medmindre de først omsættes til tekst af et andet system. Multimodal AI kan bruge selve billedet, lyden eller videoen som input.
Forskellen ses tydeligt i en supportopgave. En tekstmodel kan forklare en fejl, hvis brugeren beskriver den. En multimodal model kan også analysere et skærmbillede, finde relevante elementer i brugergrænsefladen og koble dem til brugerens spørgsmål. Den kan stadig tage fejl, men den får adgang til mere kontekst.
Multimodal AI erstatter ikke nødvendigvis sprogmodeller. Mange multimodale systemer bygger stadig på generative pre-trained transformers eller beslægtede arkitekturer. Forskellen ligger i, at input og eventuelt output udvides til flere modaliteter.
Hvad kan multimodal AI bruges til?
Multimodal AI er relevant, når en opgave kræver mere kontekst, end tekst alene giver. Det kan være gennemgang af skærmbilleder, forklaring af grafer, søgning i billedarkiver, analyse af mødeoptagelser, kvalitetskontrol i produktion eller undervisning, hvor elever stiller spørgsmål til figurer og billeder.
Teknologien kan også bruges i tilgængelighed. En model kan beskrive et billede for en bruger, hjælpe med at opsummere tale, forklare visuelle elementer eller omsætte komplekse dokumenter til mere tilgængelig tekst. Kvaliteten afhænger dog af datagrundlag, modelens begrænsninger og de krav, opgaven stiller.
- Visuel support, hvor brugeren sender et skærmbillede sammen med et spørgsmål.
- Dokumentanalyse, hvor tekst, tabeller, figurer og layout skal forstås samlet.
- Mødebehandling, hvor tale, transskription og beslutningspunkter kombineres.
- Produkt- eller lagerkontrol, hvor billeder kobles med beskrivelser og regler.
- Undervisning, hvor modellen forklarer diagrammer, billeder eller optagelser.
Hvorfor er embeddings centrale i multimodal AI?
Embeddings er numeriske repræsentationer af indhold. I multimodal AI gør de det muligt at sammenligne betydning på tværs af datatyper. Et billede, et tekststykke og en lydtransskription kan repræsenteres som vektorer, som et system kan søge, rangere eller kombinere.
Det er især nyttigt i søgning. Hvis et billedarkiv har multimodale embeddings, kan du finde billeder ud fra en tekstbeskrivelse uden først at have skrevet præcise manuelle tags. Omvendt kan et billede bruges til at finde relaterede tekster, produkter eller dokumenter.
AI-embeddings er dog ikke en garanti for korrekt forståelse. De viser statistisk nærhed i et lært rum, ikke sandhed. Derfor bør multimodal søgning kombineres med datakvalitet, metadata, menneskelig kontrol og faste evalueringssæt, når resultaterne bruges til vigtige beslutninger.
Hvad er forskellen på input- og output-modaliteter?
En model kan være multimodal i input, output eller begge dele. Multimodal input betyder, at systemet kan modtage flere datatyper, for eksempel tekst og billede. Multimodal output betyder, at systemet kan generere flere datatyper, for eksempel tekstsvar, lyd eller billeder.
Det er en vigtig afgrænsning, fordi mange produkter markedsføres bredt som multimodale, selv om deres funktioner er forskellige. Et system kan forstå billeder, men kun svare med tekst. Et andet kan føre samtaler med lyd, men ikke analysere video. Et tredje kan generere billeder, men ikke fortolke komplekse dokumentlayouts.
Når du vurderer en løsning, bør du derfor spørge konkret: Hvilke input understøttes, hvilke output kan genereres, og hvilke begrænsninger gælder for filtyper, sprog, datamængde, svartid og sikkerhed? Det giver et mere præcist billede end blot at spørge, om løsningen er multimodal.
Hvad betyder kontekst på tværs af modaliteter?
Kontekst i multimodal AI handler om, at modellen kan bruge flere signaler samtidig. Et billede kan vise en fejlmeddelelse, mens brugerens tekst forklarer, hvad personen prøvede at gøre. En video kan vise rækkefølgen af handlinger, mens lydsporet forklarer intentionen. Kombinationen kan give bedre svar end hver modalitet alene.
Moderne multimodale modeller bliver ofte vurderet på, om de kan bevare detaljer over lang kontekst og flere datatyper. Gemini 1.5-rapporten fra Google beskriver for eksempel multimodal forståelse over lange dokumenter samt timer af video og lyd. Det er et forsknings- og produktområde i hurtig udvikling, men konkrete grænser afhænger af modelversion og adgangsform.
Lang kontekst løser heller ikke alt. Jo mere input et system får, desto større bliver kravene til relevans, filtrering og evaluering. Hvis input indeholder støj, private oplysninger eller irrelevante detaljer, kan en større kontekst gøre systemet mere komplekst at styre.
Hvilke begrænsninger skal man kende?
Multimodal AI kan misforstå billeder, overse små detaljer, læse tekst i billeder forkert eller tillægge lyd og video betydning, som ikke er sikkert underbygget. En model kan også give et sprogligt overbevisende svar, selv om den visuelle analyse er forkert. Derfor bør kritiske visuelle eller auditive vurderinger ikke overlades til modellen alene.
Begrænsningerne kan være tekniske. Lav opløsning, dårlig lyd, baggrundsstøj, skæve vinkler, hurtige videoklip og komplekse layout kan sænke kvaliteten. De kan også være datamæssige. Hvis træningsdata ikke dækker bestemte sprog, dialekter, brancher, produkter eller visuelle miljøer, kan modellen være mindre stabil i netop de situationer.
Derudover kan en model lave ugrundede inferenser. Den kan forsøge at udlede identitet, følelser, intentioner eller følsomme egenskaber fra billeder eller lyd, selv når datagrundlaget ikke kan bære det. I praktisk brug bør sådanne opgaver afgrænses tydeligt eller fravælges.
Hvilke datakrav og sikkerhedsrisici følger med?
Multimodal AI behandler ofte mere følsomme data end ren tekst. Billeder kan vise ansigter, hjem, arbejdspladser, skærmdata eller dokumenter. Lyd kan indeholde stemmer, navne, baggrundssamtaler og biometriske mønstre. Video kan afsløre adfærd, placering og tidsforløb. Dataminimering og adgangskontrol bliver derfor centrale.
Før en organisation bruger multimodal AI, bør den skelne mellem data til midlertidig analyse, data til logning, data til træning og data til evaluering. Det er ikke nok at vide, at et billede kan uploades. Du skal også vide, om filen gemmes, om den bruges til forbedring af modellen, hvem der kan se den, og hvordan den slettes.
Der er også risiko for ophavsret, manipulation og informationsintegritet. AI-genererede billeder, syntetiske stemmer og ændrede videoer kan se eller lyde troværdige. NISTs generative AI-profil fremhæver blandt andet governance, indholdsproveniens, test før brug og hændelsesrapportering som centrale styringsområder for generativ AI.
Hvordan vurderer man kvaliteten af en multimodal løsning?
Kvalitet bør testes pr. modalitet og på tværs af modaliteter. En model kan være god til tekst, middel til billeder og svag til lyd. Den kan også være god til at beskrive et billede, men dårligere til at følge en instruktion, der kræver både billedforståelse og forretningsregler.
En praktisk evaluering bør indeholde faste testcases fra de opgaver, systemet faktisk skal løse. Brug gerne eksempler med støj, uklare billeder, flere sprog, skærmbilleder, tabeller, lyd med baggrundsstøj og fejl, som systemet skal afvise. Mål både korrekthed, begrundelse, afvisninger og om systemet spørger efter mere information, når input er utilstrækkeligt.
- Test hver modalitet separat, før de kombineres.
- Test kombinationer, hvor tekst og billede modsiger hinanden.
- Gem fejltyper, så forbedringer kan måles over tid.
- Vurder svartid og omkostning i den konkrete arbejdsgang.
- Kontroller, at private eller følsomme data håndteres efter interne regler.
Hvornår er multimodal AI relevant i en organisation?
Multimodal AI er mest relevant, når organisationens viden eller opgaver allerede er multimodale. Det gælder support med skærmbilleder, kvalitetskontrol med fotos, analyse af møder, gennemgang af tekniske tegninger, visuelle instruktioner eller sagsbehandling, hvor dokumentlayout og billeder har betydning.
Hvis opgaven kun kræver tekstforståelse, er en ren sprogmodel ofte enklere at styre. Hvis opgaven kræver stabil billedklassifikation i et snævert miljø, kan traditionelt maskinsyn og computer vision være mere målrettet. Multimodal AI giver mest værdi, når forbindelsen mellem tekst, billede, lyd eller video er en del af selve problemet.
I praksis kan teknologien også indgå i en AI-assistent, der modtager brugerens tekst, analyserer et uploadet billede og bruger et internt dokument som reference. Hvis lyd er en del af arbejdsgangen, kan AI-transskribering være et første lag, før multimodal analyse kobles på.
Hvilke kilder ligger til grund?
Definitionen og afgrænsningen bygger på forskningsoversigten Multimodal Foundation Models, CLIP-studiet Learning Transferable Visual Models From Natural Language Supervision, Googles Gemini 1.5-rapport, OpenAIs GPT-4o System Card og NISTs Generative AI Profile fra juli 2024.