OpenAI fjerner stemme efter Scarlett Johansson-lighed

OpenAI fjernede ChatGPT-stemmen Sky fra sine produkter efter kritik af, at den lød som Scarlett Johansson. Sagen handlede ikke kun om en enkelt stemme, men om samtykke, identitet, tillid og hvordan AI-virksomheder dokumenterer syntetiske stemmer, når de minder om kendte personer.

Hvad skete der med OpenAIs Sky-stemme?

Sky var en af de stemmer, brugere kunne vælge i ChatGPTs Voice Mode. Efter lanceringen af GPT-4o i maj 2024 blev stemmen sammenlignet med Scarlett Johansson, der tidligere havde lagt stemme til den fiktive AI-assistent Samantha i filmen Her. Sammenligningen blev mere følsom, fordi Johansson ifølge sin egen udtalelse tidligere havde afvist at medvirke som stemme i systemet.

OpenAI valgte at pause brugen af Sky den 19. maj 2024. I selskabets egen gennemgang af hvordan ChatGPT-stemmerne blev valgt skrev OpenAI, at Sky ikke var Scarlett Johanssons stemme, og at den ikke var tænkt som en efterligning. Samtidig undskyldte Sam Altman for, at kommunikationen til Johansson ikke havde været bedre.

Det centrale punkt er derfor ikke kun, om en stemme teknisk blev kopieret. Sagen viser, hvor hurtigt en AI-stemme kan skabe mistanke om forveksling, hvis produkt, markedsføring, timing og kulturelle referencer peger i samme retning. For brugere og organisationer er det en påmindelse om, at lyd ikke kun er et interface. En stemme kan også opfattes som identitet.

Hvorfor blev ligheden med Scarlett Johansson så kontroversiel?

Scarlett Johansson er relevant i sagen, fordi hun spillede stemmen til en AI-assistent i Her, og fordi hendes stemme allerede var forbundet med ideen om en personlig, menneskeligt klingende kunstig assistent. Da GPT-4o blev demonstreret med hurtige, følelsesprægede stemmesvar, blev koblingen til filmen derfor tydelig for mange observatører.

Ifølge Associated Press’ gengivelse af Johanssons udtalelse kontaktede OpenAI hende i september 2023 om en mulig stemmerolle, som hun afslog. Hun sagde senere, at Sky lød så tæt på hendes stemme, at venner og medier havde svært ved at skelne. OpenAI svarede, at Sky tilhørte en anden professionel skuespiller, og at denne person var castet før kontakten til Johansson.

Kontroversen opstod i spændet mellem disse to forklaringer. OpenAI lagde vægt på casting og intention. Johansson lagde vægt på oplevet lighed, tidligere kontakt og behovet for transparens. I praksis er begge dimensioner vigtige: et system kan være lovligt og teknisk uafhængigt, men stadig skade tilliden, hvis publikum oplever, at en persons kendetegn bliver udnyttet uden klar accept.

Hvordan hænger sagen sammen med GPT-4o?

GPT-4o blev præsenteret som en multimodal model, der kan arbejde med tekst, lyd, billeder og video. OpenAI beskrev modellen som et skridt mod mere naturlig menneske-computer-interaktion, blandt andet fordi den kan reagere hurtigere på taleinput og håndtere samtaler mere direkte end tidligere stemmepipelines.

Den tekniske kontekst betyder meget. Før GPT-4o bestod stemmeoplevelsen typisk af flere led: tale blev transskriberet, en sprogmodel genererede et tekstsvar, og et tekst-til-tale-system læste svaret op. Med GPT-4o beskrev OpenAI en model, der i højere grad var trænet på tværs af modaliteter. Det gjorde demonstrationen mere levende, men øgede også opmærksomheden på grænserne for syntetisk lyd.

AI Mentor har tidligere dækket OpenAIs GPT-4o-lancering. I denne sag blev teknologien ikke kun vurderet på latenstid og brugeroplevelse, men på, om en stemmeassistent kan få en social og kulturel identitet, der går ud over selve produktfunktionen.

Hvad sagde OpenAI om casting og samtykke?

OpenAI beskrev en fem måneder lang proces med castingbureauer, stemmeskuespillere, producenter og interne vurderinger. Selskabet skrev, at de fem stemmer Breeze, Cove, Ember, Juniper og Sky blev udvalgt blandt mere end 400 indsendelser, og at skuespillerne indspillede materiale i San Francisco i juni og juli 2023.

Ifølge OpenAIs tidslinje talte Sam Altman med Scarlett Johansson og hendes team den 11. september 2023 om mulig medvirken som en sjette stemme. Hun afslog omkring en uge senere. OpenAI skrev også, at Altman kontaktede hendes team igen den 10. maj 2024 forud for GPT-4o-lanceringen, og at selskabet fra 15. maj var i dialog med hendes team om bekymringerne ved Sky.

Den forklaring flytter fokus fra ren teknisk generering til dokumentation. Hvis en virksomhed bruger syntetiske eller indspillede stemmer, bør den kunne vise, hvem der har givet samtykke, hvad samtykket dækker, hvilke produkter stemmen bruges i, og hvordan brugen ændres ved nye modeller. Det er ikke kun et juridisk spørgsmål. Det er også en governance-opgave.

Er en AI-stemme det samme som en stemmeklon?

Nej, ikke nødvendigvis. En AI-stemme kan være baseret på en professionel skuespillers indspillede materiale, et tekst-til-tale-system, en syntetisk stemmeprofil eller en model, der genererer tale direkte. En stemmeklon er mere specifikt en efterligning eller digital replika af en bestemt persons stemme, typisk med det formål at lyde genkendeligt som den person.

Sky-sagen skal derfor formuleres præcist. Det er dokumenteret, at OpenAI pauserede Sky, at Johansson mente stemmen lød meget tæt på hendes, og at OpenAI afviste, at stemmen var en efterligning. Det er ikke det samme som en dokumenteret teknisk kloning af Johanssons stemme. Den forskel er vigtig, fordi debatten ellers blander oplevet lighed, bevidst imitation, optaget performance og modelgenereret lyd sammen.

Hvis du arbejder med AI-stemmegenerering, kan den praktiske afgrænsning være enkel: Jo mere en stemme markedsføres, designes eller bruges, så den leder tanken hen på en bestemt person, jo stærkere bør kravene være til samtykke, dokumentation og tydelighed over for lytteren.

Hvilke tekniske risici viste GPT-4o System Card?

OpenAIs GPT-4o System Card placerede uautoriseret stemmegenerering blandt de centrale risikoområder for modellens lydfunktioner. Systemkortet beskrev også speaker identification, følsomme slutninger fra lyd, ophavsretligt beskyttet indhold og disallowed audio content som områder, der kræver sikkerhedslag.

OpenAI skrev, at risikoen for uautoriseret stemmegenerering blev håndteret ved kun at tillade forudvalgte stemmer og bruge en outputklassifikator, der skulle opdage, hvis modellen afveg fra den valgte stemme. Systemkortet beskrev også sjældne tilfælde under test, hvor modellen utilsigtet kunne begynde at lyde som brugerens stemme, hvorefter samtalen skulle afbrydes.

Den del af dokumentationen er fagligt vigtig, fordi den viser, at stemmerisiko ikke kun handler om kendte personer. Den handler også om, at tale rummer identitet, accent, følelser, intonation og sociale signaler. Derfor bør organisationer behandle stemmeinput og stemmeoutput som mere følsomme end almindelig tekst i mange arbejdsgange.

Hvad betyder sagen for tillid til stemmeassistenter?

Stemmeassistenter virker mere personlige end tekstchat, fordi lytteren reagerer på tempo, tone, pauser, kønnet klang og følelsesmarkører. Når en assistent lyder som et menneske, begynder brugeren let at tilskrive den intention, empati eller autoritet, selv om systemet stadig er software, databehandling og produktdesign.

OpenAI beskrev allerede i 2023, at realistisk syntetisk tale kan skabe risiko for efterligning af offentlige personer og svindel. I indlægget om, at ChatGPT kunne se, høre og tale, skrev selskabet, at stemmeteknologi med få sekunders stemmeprøve åbner for kreative og tilgængelighedsmæssige anvendelser, men også nye risici.

For brugeren er det afgørende, at en stemme ikke skaber et misvisende indtryk af, hvem der taler. For en virksomhed er det afgørende, at valget af stemme kan forklares. Det gælder både i kundeservice, undervisning, sundhed, underholdning og interne værktøjer, hvor en stemme kan påvirke tillid og beslutninger hurtigere end tekst.

Hvilke kontrolpunkter bør organisationer bruge før syntetiske stemmer?

Organisationer bør vurdere syntetiske stemmer før de indgår i produkter, markedsføring, undervisning eller kundevendte arbejdsgange. Det gælder også, hvis stemmen ikke er tænkt som en klon af en kendt person. Risikoen kan stadig opstå gennem lighed, kontekst, navngivning, kampagnemateriale eller brugerens forventning.

• Dokumentér hvem stemmen bygger på, og hvilken aftale eller licens der dækker brugen.
• Afklar om stemmen kan forveksles med en bestemt kendt eller lokal person.
• Test stemmen i den konkrete kontekst, ikke kun som isoleret lydprøve.
• Beslut hvordan brugere får at vide, at de taler med et AI-system.
• Gem versionshistorik, så ændringer i model, stemme og produkt kan forklares senere.

Kontrolpunkterne bør være strengere, når stemmen bruges til overtalelse, rådgivning, børn, sårbare brugere, finansielle beslutninger eller offentlig kommunikation. Her er problemet ikke kun, om teknologien virker. Spørgsmålet er også, om stemmen gør systemet mere overbevisende, end dokumentationen kan bære.

Hvordan adskiller stemmeidentitet sig fra ophavsret?

Ophavsret beskytter normalt værker, optagelser og kreative præstationer, mens stemmeidentitet handler om en persons genkendelige kendetegn. En stemme kan derfor rejse spørgsmål, selv når der ikke er kopieret en bestemt lydfil eller et bestemt manuskript. Det er især tydeligt ved AI-genereret tale, hvor output kan minde om en person uden at være en simpel kopi.

Det betyder, at en vurdering af AI-stemmer ikke bør stoppe ved spørgsmålet om træningsdata. Du bør også se på samtykke, forvekslingsrisiko, markedsføring, kommerciel udnyttelse og publikums forventning. Sagen om Sky viser netop, at den offentlige reaktion kan handle lige så meget om identitet og transparens som om klassisk kopiering.

For en bredere dansk introduktion kan det være nyttigt at skelne mellem stemme, værk, data og output i sammenhæng med AI og ophavsret i Danmark. Den praktiske pointe er, at en organisation bør dokumentere både rettigheder til input og rimeligheden af det indtryk, outputtet skaber.

Hvad siger EU’s AI-regler om syntetisk lyd og transparens?

EU’s AI-forordning regulerer ikke Sky-sagen direkte som en dom eller afgørelse. Den er relevant som ramme for, hvordan europæiske brugere og organisationer kan tænke om gennemsigtighed. I artikel 50 stiller forordningen krav om, at personer i visse situationer skal informeres, når de interagerer med et AI-system, og at syntetisk lyd, billede, video eller tekst skal kunne markeres som kunstigt genereret eller manipuleret.

I Regulation (EU) 2024/1689 står også, at deployers af AI-systemer, der genererer eller manipulerer billede, lyd eller video som deepfake, skal oplyse, at indholdet er kunstigt genereret eller manipuleret. Forordningen anvendes gradvist, og hovedanvendelsen er fra 2. august 2026, med flere tidligere datoer for udvalgte dele.

Den praktiske betydning er, at syntetisk lyd bør designes med transparens fra begyndelsen. Det gælder ikke kun juridisk compliance. Det gælder også produktkvalitet: brugere skal kunne forstå, hvornår de hører et AI-output, og organisationen skal kunne forklare, hvordan stemmen er valgt, kontrolleret og mærket.

Hvorfor er markedsføring og kulturelle referencer en del af risikoen?

En AI-stemme vurderes ikke i et tomrum. Brugeren møder den gennem navn, produktvideoer, demoer, presseomtale, sociale medier og samtidige kulturelle signaler. Hvis en stemme præsenteres i en kontekst, der minder om en kendt film, person eller performance, kan publikum skabe forbindelsen, selv om virksomheden ikke skriver navnet direkte.

Det er en af de tydelige læringer fra Sky-sagen. OpenAI kunne pege på en castingproces, mens kritikere kunne pege på lighed, timing og associationen til Her. For produktteams betyder det, at risikovurderingen bør omfatte mere end lydfilen. Den bør også omfatte manuskript, tone, demoformat, navngivning, pressebudskaber og de kulturelle billeder, produktet læner sig op ad.

Den samme mekanisme findes i andre kreative AI-felter. I kunstig intelligens og lyddesign kan en effekt være teknisk original, men stadig skabe genkendelige associationer. Derfor bør designere og redaktører spørge, om outputtet blot er inspireret af en stil, eller om det skaber en konkret forveksling med en identificerbar person.

Hvilke praktiske grænser kan man trække efter sagen?

En fornuftig grænse er at skelne mellem stemme som brugergrænseflade og stemme som identitetsmarkør. Som brugergrænseflade kan en stemme være neutral, behagelig, tydelig og tilgængelig. Som identitetsmarkør kan den pege mod en bestemt person, rolle, accent, social gruppe eller offentlig figur. Den anden kategori kræver mere dokumentation.

Grænsen bør ikke trækkes ud fra teknik alene. En syntetisk stemme kan være acceptabel i én sammenhæng og problematisk i en anden. Hvis outputtet får publikum til at tro, at en bestemt person medvirker, bør virksomheden behandle det som en højrisikosituation, også hvis modellen ikke teknisk har kopieret personens originale optagelser.

Hvad kan brugere og virksomheder lære af OpenAIs beslutning?

Den vigtigste læring er, at stemme-AI kræver tidlig risikovurdering, ikke kun efterfølgende krisehåndtering. Når en stemme først er lanceret, kan en tvist hurtigt blive et spørgsmål om tillid til hele produktet. OpenAIs beslutning om at pause Sky reducerede den akutte konflikt, men sagen står tilbage som eksempel på behovet for stærkere forarbejde.

Hvis du vurderer et værktøj med syntetisk tale, bør du spørge efter dokumentation for stemmekilder, samtykke, modelbegrænsninger, misbrugsbeskyttelse, logning og mulighed for at slå bestemte stemmer fra. Det gælder især, hvis systemet bruges i en organisation med kundedata, børn, ansatte, borgere eller offentlig kommunikation.

For sikkerhedsarbejde hænger sagen sammen med bredere sikkerhedsudfordringer ved generativ AI. Stemmeoutput kan øge troværdighed, nærvær og manipulationsevne. Derfor bør det behandles som en del af organisationens AI-risikostyring, ikke som en kosmetisk indstilling.

Hvilke kilder ligger til grund?

De centrale kilder er OpenAIs egen tidslinje for valg af ChatGPT-stemmer, OpenAIs tekniske gennemgang af GPT-4o System Card og OpenAIs indlæg om, at ChatGPT kunne se, høre og tale. Johanssons reaktion er kontrolleret mod Associated Press’ gengivelse af sagen, og EU-vinklen bygger på EU’s AI-forordning 2024/1689.