Tekst-til-video modeller – hvordan fungerer de?

Tekst-til-video modeller fungerer ved at omsætte en tekstbeskrivelse til en sekvens af sammenhængende billeder, hvor modellen beregner både motiv, stil, bevægelse og tidslig kontinuitet. De mest avancerede systemer bygger typisk på diffusion, transformerarkitekturer og komprimerede videorepræsentationer, men de simulerer ikke virkeligheden fejlfrit.

Hvad er en tekst-til-video model?

En tekst-til-video model er en generativ AI-model, der skaber et kort videoklip ud fra en skriftlig instruktion. Modellen skal ikke kun danne et enkelt billede, men en hel serie af frames, hvor personer, objekter, kamera, lys og bevægelse hænger rimeligt sammen over tid. Det gør opgaven mere krævende end almindelig tekst-til-billede-generering.

Teknologien ligger i forlængelse af tekst-til-billede modeller, men tilføjer en ekstra dimension: tid. Et billede kan være visuelt overbevisende, selv om det kun viser ét øjeblik. En video skal bevare relationer mellem frames, så en hånd ikke skifter form tilfældigt, en genstand ikke forsvinder uden årsag, og en kamerabevægelse ikke bryder scenens geometri.

Modellen producerer derfor ikke video på samme måde som et kamera. Den beregner sandsynlige visuelle mønstre ud fra træningsdata og bruger tekstbeskrivelsen som styring. Resultatet kan ligne optagelser, animation, produktvisualiseringer eller filmiske klip, men det er syntetisk indhold skabt af statistiske mønstre, ikke en dokumenteret optagelse af en virkelig hændelse.

Hvordan går modellen fra tekstbeskrivelse til levende billeder?

Først bliver tekstbeskrivelsen omdannet til en numerisk repræsentation, som modellen kan arbejde med. Teksten analyseres for centrale motiver, handlinger, relationer, stilangivelser og begrænsninger. Hvis du skriver, at en glasvase falder ned fra et bord i langsom gengivelse, skal modellen forbinde ord om objekt, materiale, bevægelse, kamera og tempo.

Derefter bruger videomodellen den tekstlige repræsentation til at styre en generativ proces. I mange moderne systemer starter processen med støj eller tomme latente videopatches, som gradvist bliver til en mere konkret sekvens. Modellen beregner, hvordan hvert frame bør se ud, og hvordan frames bør ændre sig i forhold til hinanden.

Til sidst bliver den interne videorepræsentation dekodet til almindelige pixels. Det er her klippet bliver til en fil eller afspilningsbar sekvens. Nogle systemer kan også tage et billede, en eksisterende video eller en reference som ekstra input. Det giver mere kontrol over første frame, stil, komposition eller et bestemt objekt, men det fjerner ikke behovet for efterkontrol.

Hvad betyder diffusion i videomodeller?

Diffusion er en generativ metode, hvor en model lærer at gå fra støj til et meningsfuldt resultat. Under træning ser modellen eksempler på billeder eller video, der gradvist får tilføjet støj. Den lærer derefter den omvendte proces: at forudsige, hvordan støjen kan fjernes, så et realistisk visuelt mønster kommer frem.

I video bliver processen mere kompleks, fordi modellen skal fjerne støj på tværs af både rum og tid. Den skal skabe et motiv i hvert frame og samtidig beregne, hvordan motivet bevæger sig. Ho et al. beskrev allerede i 2022 videodiffusion som en udvidelse af billeddiffusion, hvor modellen kan trænes på både billeder og video og bruge sampling til at forlænge sekvenser rumligt og tidsligt.

Diffusion er nyttig, fordi den kan give høj visuel kvalitet og stærk styring fra tekst. Den har også en pris: generering kan være beregningstung, især når opløsning, længde og bevægelseskompleksitet stiger. Derfor arbejder mange nyere systemer med komprimerede interne repræsentationer i stedet for at beregne alle pixels direkte fra begyndelsen.

Hvorfor arbejder mange modeller i et komprimeret latent rum?

Et latent rum er en komprimeret repræsentation af data. I stedet for at arbejde direkte med hvert enkelt pixel i hvert frame kan modellen arbejde med en tættere intern kode, der bevarer de vigtigste visuelle og tidslige mønstre. Når klippet er genereret i dette rum, oversættes det tilbage til pixels af en dekoder.

Latent videodiffusion gør beregningen mere praktisk, fordi video hurtigt bliver enormt datatungt. Et kort klip kan bestå af hundredvis af billeder, og hvert billede kan have millioner af pixels. Hvis modellen kan lære bevægelse, motiv og stil i en komprimeret repræsentation, kan den bruge sin beregningskraft på struktur i stedet for rå pixelmasse.

Blattmann et al. beskrev i arbejdet med latent videodiffusion, hvordan et tekst-til-billede-system kan udvides med en tidslig dimension og finjusteres på kodede videosekvenser. Den tilgang forklarer, hvorfor flere videomodeller bygger videre på billedgenerering: de genbruger visuel forståelse og tilføjer mekanismer til tidslig sammenhæng.

Hvordan skaber modellen bevægelse over tid?

Bevægelse opstår, når modellen beregner forskelle mellem frames, der passer til den beskrevne handling. Det handler ikke kun om at flytte pixels. Modellen skal holde styr på objekters identitet, kropsstillinger, kameraretning, lys, perspektiv og årsagssammenhænge. Hvis en person åbner en dør, skal hånden, døren, skyggen og kameraet ændre sig koordineret.

Nogle modeller arbejder med nøgleframes og mellemliggende frames. Andre forsøger at generere en længere sekvens mere samlet. Uanset metode er tidslig konsistens en central udfordring. Små fejl bliver tydelige, når de udvikler sig over mange frames: et logo kan flyde, fingre kan ændre antal, tekst kan blive uleselig, eller et objekt kan skifte materiale.

Derfor vurderes tekst-til-video ikke kun efter billedkvalitet. Et klip kan se skarpt ud i første frame og stadig fejle som video, hvis bevægelsen ikke følger scenens logik. For praktisk brug bør du kontrollere hele klippet frame for frame, især hvis det skal bruges i undervisning, markedsføring, dokumentation eller beslutningsstøtte.

Hvilken rolle spiller transformere og tidslige patches?

Transformere er modelarkitekturer, der kan behandle relationer mellem mange elementer i en sekvens. I tekstmodeller kan elementerne være tokens. I videomodeller kan elementerne være visuelle patches: små dele af et billede eller en video, der organiseres på tværs af rum og tid. OpenAI beskriver Sora som en diffusion transformer, der arbejder på spacetime patches i et komprimeret latent rum.

Den patchbaserede tilgang gør det muligt at træne på forskellige formater, varigheder, billedforhold og opløsninger. I stedet for at tvinge alt ind i én fast videostørrelse kan modellen lære mere fleksible repræsentationer. Det er relevant for klip til brede skærme, lodret mobilvideo, kvadratiske formater og lavere testopløsninger.

Transformere kan også hjælpe modellen med længere afhængigheder. Hvis et objekt er skjult bag en person i nogle frames, bør modellen kunne bringe objektet tilbage med samme udseende senere. OpenAI fremhæver netop objektpermanens og 3D-konsistens som områder, hvor skalering kan give bedre egenskaber, men samme tekniske rapport nævner også, at fejl i fysik og objektændringer stadig forekommer.

Hvordan bruges billeder, video og lyd som ekstra input?

Tekst er ikke den eneste måde at styre en videomodel på. Mange systemer kan bruge et startbillede, en referencevideo, et slutframe, en skitse eller andre visuelle signaler. Det flytter opgaven fra ren tekst-til-video til billede-til-video, video-til-video eller redigering, hvor modellen skal bevare noget fra inputtet og ændre resten.

Et startbillede kan give mere stabil komposition, fordi modellen allerede kender hovedmotiv og billedbeskæring. En referencevideo kan styre bevægelse eller stil. En slutframe kan gøre det lettere at planlægge en overgang fra én scene til en anden. De metoder er nyttige i storyboard, produktvisualisering, animation og forproduktion, men de kræver tydelige rettigheder til alt inputmateriale.

Google DeepMind beskriver Veo 3.1 som en model med tekst-til-video, billede-til-video og tekst-til-lyd+video-egenskaber. Det viser en bredere udvikling, hvor videomodeller ikke kun producerer billeder i bevægelse, men også forsøger at håndtere lyd, dialog, effekter og timing. Når lyd indgår, vokser kravene til kontrol, fordi fejl i synkronisering eller stemmebrug kan gøre indholdet misvisende.

Hvad kan tekst-til-video modeller bruges til?

Tekst-til-video modeller kan bruges til tidlige visuelle udkast, ideudvikling, storyboard, undervisningsvisualisering, koncepttest, produktforklaring, motion graphics og korte klip til sociale medier. De er især relevante, når formålet er at afprøve en scene eller forklare en idé, før der bruges tid på egentlig optagelse eller animation.

I video marketing kan teknologien hjælpe med variationer af korte formater, men den bør ikke bruges ukritisk til dokumentariske påstande, testimonials eller situationer, hvor seeren forventer optaget virkelighed. I undervisning kan den illustrere abstrakte processer, men den bør ikke erstatte fagligt kontrollerede diagrammer, data eller optagelser, når præcision er afgørende.

En praktisk beslutningsregel er at skelne mellem visualisering og evidens. Hvis videoen skal vise en mulig idé, kan syntetisk indhold være nyttigt. Hvis videoen skal dokumentere, at noget faktisk er sket, er en genereret sekvens ikke egnet. Den forskel bør stå klart i både intern arbejdsproces og offentlig publicering.

Hvilke begrænsninger har modellerne?

De vigtigste begrænsninger ligger i fysik, kontinuitet, finmotorik, tekst i billedet, identitet over tid og årsagssammenhæng. En model kan skabe en visuelt stærk scene og samtidig fejle i små detaljer: væsker kan bevæge sig forkert, skygger kan springe, ansigter kan ændre sig, og genstande kan opstå eller forsvinde uden tydelig grund.

OpenAI beskriver i sin tekniske Sora-rapport, at modellen kan vise fremvoksende simulationsegenskaber, men også at den ikke altid modellerer simple fysiske interaktioner korrekt. Det er en vigtig afgrænsning. Videomodeller kan lære sandsynlige mønstre fra data, men de har ikke nødvendigvis en stabil, symbolsk forståelse af mekanik, materialer eller social kontekst.

Derudover er træningsdata og rettigheder ofte mindre gennemsigtige, end brugere kunne ønske. En leverandør kan dokumentere sikkerhedstiltag og systemkort uden at offentliggøre alle detaljer om data. Det betyder, at organisationer bør vurdere vilkår, databehandling, rettigheder til output, logning og lokal tilgængelighed, før videomodeller indgår i faste arbejdsgange.

Hvordan vurderer du kvaliteten af et genereret videoklip?

God kvalitetskontrol starter med at se klippet som video, ikke som en flot thumbnail. Afspil det i fuld længde, sænk hastigheden ved komplekse bevægelser, og kontroller centrale objekter gennem hele sekvensen. Kig efter spring i lys, perspektiv, identitet, hænder, tekst, spejlinger, logoer og relationer mellem mennesker eller genstande.

Brug en enkel tjekliste, hvis klippet skal publiceres eller indgå i en professionel arbejdsgang:

• Stemmer motiv, handling og tone med den oprindelige instruktion?
• Bevarer personer, objekter og omgivelser deres identitet gennem hele klippet?
• Er bevægelse, skygger, kameraretning og fysik plausible nok til formålet?
• Er eventuel tekst, tale, logoer eller produktdetaljer korrekte?
• Er syntetisk oprindelse tydeligt markeret, hvor kontekst eller regler kræver det?

For lavrisiko-indhold kan en visuel kontrol være tilstrækkelig. For højere risiko bør du tilføje menneskelig fagkontrol, dokumentation af input, versionshistorik og en klar beslutning om, hvorvidt klippet må ligne dokumentation. Jo mere realistisk videoen virker, desto vigtigere bliver tydelig afsender og kontekst.

Hvilke sikkerheds- og rettighedsforhold bør du kontrollere?

Tekst-til-video modeller kan skabe indhold, der ligner virkelige personer, steder, produkter eller hændelser. Derfor skal sikkerhed og rettigheder vurderes før publicering. Det gælder især ansigter, stemmer, kendte figurer, varemærker, private lokationer, politiske situationer, sundhedsinformation og andet indhold, hvor en seer kan blive vildledt.

EU’s AI-forordning 2024/1689 indeholder gennemsigtighedsforpligtelser for visse AI-systemer og for visse former for syntetisk eller manipuleret indhold. Forordningen er trådt i kraft, men mange regler anvendes gradvist, og hovedanvendelsen er fra 2. august 2026. Det bør omtales som en ramme for ansvarlig brug, ikke som en fuldstændig løsning på alle ophavsretlige og etiske spørgsmål.

Teknisk mærkning kan hjælpe. AI-vandmærkning, metadata og indholdsproveniens kan gøre det lettere at vise, at videoen er syntetisk. Men mærkning kan ikke alene afgøre, om materialet er lovligt, sandt eller rimeligt at bruge. Den beslutning kræver stadig rollefordeling, dokumentation og menneskelig vurdering.

Hvordan adskiller tekst-til-video sig fra deepfakes?

Tekst-til-video og deepfakes overlapper teknisk, men de er ikke det samme begreb. Tekst-til-video beskriver en genereringsmetode, hvor en tekstbeskrivelse styrer et nyt klip. Deepfakes beskriver typisk manipuleret eller syntetisk indhold, der efterligner en virkelig persons udseende, stemme eller handlinger.

En tekst-til-video model kan bruges til helt fiktive scener uden bestemte personer. Den kan også misbruges til at skabe realistisk vildledning, hvis den forsøger at efterligne virkelige individer eller faktiske hændelser. Derfor bør vurderingen handle om både teknik og kontekst: Hvem eller hvad forestiller klippet, hvordan fremstilles det, og kan seeren tydeligt forstå, at indholdet er genereret?

Afgrænsningen er praktisk vigtig. Et syntetisk undervisningsklip om en abstrakt proces kræver andre kontroller end et realistisk klip af en person, der siger eller gør noget politisk, juridisk eller økonomisk følsomt. Jo tættere indholdet kommer på virkelige personer og begivenheder, desto mere bør samtykke, mærkning og dokumentation fylde.

Hvordan ser udviklingen ud i 2026?

Udviklingen går mod længere klip, bedre bevægelse, mere kontrol, flere inputformer og tættere kobling mellem video og lyd. OpenAI, Google DeepMind og flere forskningsmiljøer beskriver modeller, der ikke kun producerer enkelte klip, men også kan forlænge, redigere, forbinde eller styre sekvenser på mere fleksible måder.

Google DeepMinds Veo 3.1 viser retningen mod kombineret video og lyd, mens OpenAIs Sora-rapport forklarer, hvordan skalerede videomodeller kan få stærkere rumlig og tidslig sammenhæng. Forskningen i latent videodiffusion viser samtidig, hvorfor effektivitet stadig er centralt: høj opløsning, lang varighed og realistisk bevægelse kræver store beregningsressourcer.

Det mest nyttige perspektiv er derfor ikke, om tekst-til-video erstatter traditionelle videoarbejdsgange. Det er, hvor teknologien kan indgå som et kontrolleret lag. I nogle opgaver giver den hurtige udkast og visualisering. I andre opgaver er optagelse, animation, rettighedsafklaring og faglig produktion stadig mere pålidelig.

Hvilke kilder ligger til grund?

Artiklen bygger især på OpenAIs tekniske rapport om videogenerering med Sora, Google DeepMinds aktuelle beskrivelse af Veo 3.1, Ho et al.s forskningsartikel om Video Diffusion Models, Blattmann et al.s arbejde med latent videodiffusion samt EU’s AI-forordning 2024/1689.