NVIDIA Cosmos 3 Edge til lokal fysisk AI

NVIDIA Cosmos 3 Edge er en åben verdensmodel med fire milliarder parametre, udviklet til at analysere og generere tekst, billeder, video og handlinger på lokale GPU-systemer. Modellen gør fysisk AI mere praktisk ved kanten af netværket, men den er ikke en sikkerhedscertificeret styring til robotter eller køretøjer.

Artiklens hovedpointer:

Cosmos 3 Edge er NVIDIAs åbne verdensmodel til lokal fysisk AI på understøttede GPU-systemer. Modellen kan kombinere tekst, billeder, video og handlinger til robotter og visuel analyse, men den er ikke fysisk facit eller sikkerhedscertificeret styring. Overblikket forklarer arkitekturen, anvendelserne, begrænsningerne og de data- og lovkrav, som konkrete projekter skal afklare.

Hvad har NVIDIA lanceret?

NVIDIA offentliggjorde Cosmos 3 Edge den 20. juli 2026 under SIGGRAPH-konferencen. Det er den mindste model i Cosmos 3-familien og den første variant i serien, som specifikt er optimeret til realtidsbehandling på lokale enheder. Modelvægte, kode og opskrifter til inferens og eftertræning blev gjort tilgængelige samme dag.

Cosmos 3 Edge har fire milliarder parametre. NVIDIA retter den mod fysisk AI: systemer, der fortolker omgivelser gennem kameraer og sensorer og bruger fortolkningen til at forudsige hændelser eller foreslå handlinger. Det kan være en robot i et lager, et køretøj eller et visuelt system i en fabrik.

Lanceringen er ikke et færdigt forbrugerprodukt. Den er et model- og softwaregrundlag, som udviklere skal tilpasse, teste og integrere i en konkret maskine eller arbejdsgang.

Hvad er en verdensmodel til fysisk AI?

En verdensmodel lærer mønstre i, hvordan et miljø ser ud og ændrer sig over tid. Den kan eksempelvis bruge en videosekvens til at vurdere objekters placering, forudsige en mulig næste tilstand eller danne en handlingsplan. Det adskiller sig fra en almindelig chatbot, som primært arbejder med tekst.

Cosmos 3 Edge er multimodal AI, fordi den kombinerer flere datatyper. NVIDIA beskriver modellen som en byggesten til verdensforståelse, simulering, fremtidsforudsigelse og indlæring af handlinger. Den fysiske opgave opstår først, når modellen kobles til sensorer, styringssoftware og en bestemt maskines muligheder.

Begrebet verdensmodel betyder ikke, at systemet har en fuldstændig eller fysisk korrekt kopi af verden. Det betyder, at modellen har lært statistiske sammenhænge, som kan bruges til at generere og fortolke forløb.

Hvordan er Cosmos 3 Edge bygget?

Modellen bruger en Mixture-of-Transformers-arkitektur med to komplementære dele. En autoregressiv transformer genererer diskrete elementer som tekst, mens en diffusionstransformer danner kontinuerlige medier som billeder, video og handlinger gennem gentagne trin, der fjerner støj. Den almindelige transformer-model er dermed udvidet til flere typer input og output.

De fire milliarder parametre gør modellen kompakt sammenlignet med Cosmos 3 Nano på 16 milliarder og Cosmos 3 Super på 64 milliarder parametre. Modelkortet beskriver Edge som udgangspunktet til inferens på én GPU. Kompakt betyder dog ikke, at den uden videre kan køre på almindelig kontorhardware.

NVIDIA har testet modellen på Linux med BF16-præcision og NVIDIA-platforme baseret på Ampere-, Hopper- og Blackwell-arkitektur. Andre styresystemer og præcisionstyper er ikke officielt testet i den offentliggjorte dokumentation.

Hvorfor er lokal kørsel en central ændring?

AI edge computing flytter beregningen tættere på kameraet, robotten eller den industrielle maskine. Det kan forkorte svartiden, mindske afhængigheden af en stabil internetforbindelse og begrænse behovet for at sende en konstant videostrøm til en ekstern cloudtjeneste.

Den korte afstand er særlig relevant for systemer, der skal reagere hurtigt. En robot kan ikke altid vente på, at hvert kamerabillede sendes til et datacenter og et svar kommer tilbage. Lokal behandling kan også gøre det lettere at placere data i et kontrolleret miljø, hvis hele datakæden faktisk er konfigureret sådan.

Forskellen mellem lokal og ekstern modelkørsel
ForholdLokal edge-kørselEkstern cloudkørsel
SvartidBehandling tæt på sensoren kan reducere netværksforsinkelseAfhænger også af forbindelse og afstand til tjenesten
DataflowRå sensordata kan i nogle opsætninger blive på enhedenInput sendes normalt til ekstern infrastruktur
DriftOrganisationen håndterer hardware, opdateringer og overvågningTjenesteudbyderen driver hovedparten af infrastrukturen

Hvilke input og output understøtter modellen?

Modelkortet beskriver input i form af tekst, billeder, video og handlingsforløb. Output kan være tekst, billeder, video eller handlinger. Handlingsdata er numeriske sekvenser, der eksempelvis kan repræsentere ledpositioner, gribertilstand eller kamerabevægelse.

NVIDIAs lanceringsartikel nævner også lyd som en del af modellens omnimodale forståelse. Det konkrete interface i modelkortet opregner imidlertid ikke lyd blandt Edge-variantens input- og outputformater. Udviklere bør derfor kontrollere den aktuelle softwareversion, før lyd indgår i et systemdesign.

Modellen kan blandt andet arbejde med fremadrettet dynamik, hvor en mulig handling bruges til at generere et efterfølgende forløb, og omvendt dynamik, hvor modellen forsøger at udlede handlinger fra observationer. Det er nyttigt til eksperimenter, men resultatet er stadig en modelberegning og ikke en måling af den virkelige verden.

Hvad kan Cosmos 3 Edge bruges til?

NVIDIA fremhæver robotstyring, forståelse af trafiksituationer og analyse af videostrømme i smart infrastruktur. En model kan eksempelvis eftertrænes på data fra en bestemt robot og bruges til at foreslå bevægelser, eller den kan hjælpe et visuelt system med at registrere mønstre i en produktionslinje.

Den praktiske arbejdsgang består normalt af flere lag: sensorer indsamler data, modellen fortolker dem, et kontrolsystem vurderer forslaget, og særskilte sikkerhedsmekanismer afgør, om en handling må udføres. Cosmos 3 Edge erstatter ikke disse lag.

Modellen kan også generere billeder og korte videoforløb til simulering. Sådanne syntetiske scenarier kan supplere træning og test, når sjældne hændelser er vanskelige at indsamle. De bør ikke behandles som fysisk facit, fordi modellen ikke indeholder en eksplicit fysiksimulator.

Hvor åben og tilgængelig er modellen?

Cosmos 3 Edge blev frigivet globalt på Hugging Face og GitHub under OpenMDW 1.1-licensen. NVIDIA angiver, at modellen kan bruges kommercielt og ikke-kommercielt. Den konkrete licens og dens vilkår skal stadig læses for den planlagte anvendelse.

Åbne modelvægte giver udviklere mulighed for at undersøge, eftertræne og drive modellen i egen infrastruktur. Det kan understøtte lokal AI, men giver ikke automatisk fuld indsigt i alle træningsdata eller garanti for kompatibilitet med andet hardware.

Modelkortet oplyser 1,3 milliarder datapunkter fordelt på 393 datasæt indsamlet i perioden 2024-2026. NVIDIA beskriver kuratering, filtrering og kontrol af proveniens, men organisationer må stadig vurdere dokumentationen i forhold til deres eget formål og risikoniveau.

Hvad viser benchmarkene?

NVIDIA oplyser, at Cosmos 3 Edge ligger øverst på VANTAGE-Bench for visuel analyse inden for sin parameterklasse. Modelkortet indeholder desuden målinger af ræsonnement, billed-til-video-generering og handlinger på forskellige NVIDIA-platforme.

Resultaterne er leverandørmålinger under bestemte testbetingelser. Videoevalueringerne bruger blandt andet 480p og 24 billeder pr. sekund, mens ydelsesmålinger er gennemført på én GPU eller én integreret platform med batchstørrelse én. Andre opløsninger, sensorer, miljøer og sikkerhedskrav kan give andre resultater.

En benchmark viser, hvordan modellen klarer et afgrænset testsæt. Den dokumenterer ikke, at en robot kan arbejde sikkert i et lager, eller at modellen forstår alle situationer på en vej. Egne tests bør derfor omfatte de fejltilfælde og miljøændringer, som den konkrete installation kan møde.

Hvilke begrænsninger har modellen?

Modelkortet advarer om tidsmæssigt ustabile billeder, upræcise fysiske interaktioner og drift mellem handling og tilstand. Modellen kan også tage fejl af objekters tilstand, rumlig geometri, rækkefølge, hensigt og sandsynlige fremtidige hændelser. Fejlrisikoen stiger i miljøer, der ligger langt fra træningsdata, og i sjældne sikkerhedskritiske situationer.

Cosmos 3 Edge har ingen eksplicit fysiksimulator. Objektbestandighed, kontakt, kollisioner og naturlove bliver derfor kun tilnærmet statistisk. NVIDIA skriver direkte, at output ikke må behandles som fysisk korrekt simulering, pålidelig sandhed eller sikkerhedscertificeret beslutningstagning.

Modelkortet kræver anvendelsesspecifik test, eksterne begrænsninger, systembaseret sikkerhedsanalyse og domænespecifikke værn før brug i robotter, autonome systemer eller anden sikkerhedskritisk planlægning.

Hvad betyder modellen for arbejdspladser i Danmark?

På kort sigt er Cosmos 3 Edge mest relevant for udviklingsmiljøer inden for robotteknik, produktion, logistik og visuel inspektion. Nyheden betyder ikke, at medarbejdere får en ny almindelig AI-assistent. Den viser i stedet, at multimodale modeller kan flytte tættere på maskiner og sensorer.

Organisationer i Danmark kan undersøge lokal behandling, hvis billeder fra en fabrik, et køretøj eller et offentligt område ikke bør sendes unødigt til en ekstern tjeneste. Den mulige gevinst afhænger af hele arkitekturen: logning, fjernsupport, opdateringer og eftertræning kan stadig flytte data ud af enheden.

Der er ikke dokumenteret særskilt kvalitet på danske instruktioner, lokale arbejdsmiljøer eller danske trafikforhold. Test bør derfor bruge det faktiske sprog, de konkrete sensorer og de fysiske miljøer, som systemet skal fungere i.

Hvilke data- og lovkrav bør vurderes?

Video, lyd og sensordata kan indeholde personoplysninger, hvis mennesker kan identificeres direkte eller indirekte. Lokal modelkørsel kan reducere datatransport, men den fjerner ikke krav om behandlingsgrundlag, formålsbegrænsning, dataminimering, opbevaring, adgangsstyring og sikkerhed.

EU AI Acts klassifikation afhænger af systemets tilsigtede formål og anvendelse. Et AI-system kan blandt andet være højrisiko, hvis det er en sikkerhedskomponent i et produkt omfattet af bestemte EU-regler og kræver tredjepartsvurdering, eller hvis brugen falder under et område i forordningens bilag III. Modelnavnet eller lokal drift afgør ikke klassifikationen alene.

AI Mentors forklaring af EU AI Act giver et overblik over risikokategorierne. For en konkret robot, et køretøj eller et overvågningssystem skal vurderingen kobles til produktregler, databehandling og den beslutning, systemet faktisk påvirker.

Hvad bør et pilotprojekt kontrollere?

En afgrænset pilot bør måle hele systemet og ikke kun modellens svar:

  • Definér den præcise opgave, tilladte handlinger og en sikker tilstand, når modellen er usikker eller fejler.
  • Test med egne kameraer, lysforhold, sprog, objekter og sjældne situationer, som kan forekomme i driften.
  • Sammenlign modellens output med kendt facit og registrér både oversete hændelser og falske alarmer.
  • Hold en uafhængig sikkerhedsbarriere mellem modeloutput og bevægelser, der kan påvirke mennesker eller materiel.
  • Kortlæg hvor rådata, logfiler og eftertræningsdata lagres, hvem der har adgang, og hvornår de slettes.

Den mest realistiske betydning af Cosmos 3 Edge er derfor ikke fuldt autonome maskiner uden kontrol. Den er et mere kompakt modelgrundlag til lokale forsøg, hvor svartid, dataflow og fysisk kontekst kan testes samlet med de nødvendige tekniske og organisatoriske sikkerhedslag.

Hvilke kilder ligger til grund?

Artiklen bygger på NVIDIAs officielle udmelding fra SIGGRAPH 2026 og det tekniske modelkort for Cosmos 3 Edge. Persondatavinklen er kontrolleret mod Det Europæiske Databeskyttelsesråds oversigt over GDPR-principper, mens risikoklassifikationen følger Europa-Kommissionens udkast til retningslinjer om højrisiko-AI.