Cloudflares nye AI-crawlerpolitik handler om at skille almindelig søgning fra AI-agentbrug og modeltræning. Fra 15. september 2026 vil Cloudflares standardindstillinger blokere visse blandede crawlere på annoncefinansierede sider, medmindre webstedsejeren vælger andre regler.
Cloudflares nye AI-crawlerpolitik adskiller søgning, AI-agenter og modeltræning, så webstedsejere kan styre adgangen mere præcist. Overblikket forklarer fristen 15. september 2026, Pay Per Use, tekniske begrænsninger og de kontrolpunkter, som organisationer i Danmark bør vurdere for indhold, data og ophavsret.
Hvad har Cloudflare ændret?
Cloudflare har annonceret nye standarder for, hvordan webstedsejere kan håndtere automatiseret AI-trafik. Ændringen går ud på, at crawlere ikke længere bør behandles som én samlet gruppe, når de kan bruges til forskellige formål.
I TechCrunchs omtale af nyheden beskrives fristen 15. september 2026 som et tidspunkt, hvor blandede crawlere kan blive blokeret som standard på sider med annoncer. Cloudflares egne opslag forklarer samtidig, at kunder kan skelne mellem trafik til søgning, AI-agenter og modeltræning.
Det flytter debatten om web scraping af AI-træningsdata fra et enkelt ja eller nej til mere detaljerede valg. En side kan for eksempel ønske at være synlig i søgning, men ikke bruges frit til at træne modeller eller besvare spørgsmål i en AI-assistent.
Hvad er en AI-crawler?
En AI-crawler er et automatiseret program, der henter sider, billeder, tekst eller metadata fra nettet. Den kan ligne en almindelig søgemaskinecrawler, men formålet kan være anderledes: data kan bruges til modeltræning, søgeindeks, AI-resuméer, agenthandlinger eller opdatering af et datasæt.
Den tekniske udfordring er, at samme crawlernavn eller infrastruktur kan dække flere formål. Hvis én bot både hjælper med søgning og leverer data til AI-træning, bliver det svært for webstedsejeren at tillade den ene brug uden at acceptere den anden.
Cloudflares nye skel handler derfor ikke kun om at blokere trafik. Det handler om at gøre crawlerens formål mere synligt, så adgang kan styres efter anvendelse.
Hvorfor skelner Cloudflare mellem søgning, agenter og træning?
Søgning, AI-agentbrug og træning giver forskellige fordele og risici for webstedsejeren. Søgning kan sende besøgende tilbage til kilden. AI-agentbrug kan bruge indhold til at udføre opgaver på vegne af en bruger. Modeltræning kan indarbejde mønstre fra indholdet i en model, uden at den oprindelige side nødvendigvis får trafik tilbage.
| Formål | Typisk brug | Kontrolspørgsmål |
|---|---|---|
| Søgning | Indeksering og visning af sider i søgeresultater | Skal siden kunne findes gennem søgemaskiner? |
| Agentbrug | En AI-tjeneste henter indhold for at svare, sammenligne eller handle | Må indholdet bruges i en løbende opgave uden direkte besøg på siden? |
| Træning | Indhold indgår i datasæt eller modeludvikling | Er der rettigheder, datahensyn og forretningsvilkår på plads? |
Skellet er også en del af bredere AI-governance. Når en organisation publicerer viden på nettet, bør den kunne forklare, hvilke former for automatiseret adgang den accepterer, og hvilke den afviser.
Hvad betyder fristen 15. september 2026?
Fristen betyder, at AI-virksomheder får tid til at adskille crawlere efter formål, hvis de vil undgå Cloudflares kommende standardblokering på bestemte sider. TechCrunch skriver, at blandede crawlere efter den dato risikerer at blive blokeret fra annoncesider som standard.
Cloudflares egne oplysninger beskriver samme retning: Search skal kunne tillades separat fra Agent og Training. På sider med annoncer vil Training og Agent som udgangspunkt blive blokeret, mens Search kan være tilladt, hvis webstedsejeren ikke ændrer indstillingerne.
Det er ikke det samme som et globalt internetforbud mod AI-crawlere. Ændringen gælder for websteder, der bruger Cloudflares tjenester, og webstedsejeren kan justere reglerne. Den praktiske virkning afhænger derfor af både Cloudflares udbredelse, crawlernes adfærd og de valg, de enkelte websteder foretager.
Hvordan fungerer kontrollen i praksis?
Cloudflare beskriver flere lag af kontrol. Webstedsejeren kan bruge indstillinger til at vælge, om søgecrawlere, agentcrawlere og træningscrawlere skal have adgang. Cloudflare kan også hjælpe med robots.txt-regler og blokering på sider, hvor indholdet er annoncefinansieret.
Cloudflare nævner desuden et Content-Signal-format, hvor et websted kan udtrykke, hvordan indhold må bruges. Et signal kan for eksempel sige ja til søgning, nej til AI-træning og kun tillade referencebrug. Det er et forsøg på at beskrive formål mere præcist end en traditionel robots.txt-fil.
Teknisk kontrol og juridiske rettigheder er dog ikke identiske. En serverregel kan afvise trafik, men den afgør ikke alene, om brug af indhold er lovlig, aftalt eller rimelig. Derfor skal tekniske valg ses sammen med kontrakter, ophavsret, databeskyttelse og dokumenteret praksis.
Hvad er Pay Per Use og Pay Per Crawl?
Cloudflare lancerede tidligere Pay Per Crawl som en markedsplads, hvor websteder kan kræve betaling, når AI-crawlere henter indhold. TechCrunch beskriver, at Cloudflare nu udvider ideen med Pay Per Use, hvor betaling knyttes til, at indhold skaber værdi i en AI-tjeneste.
De første nævnte partnere er Ceramic.ai og You.com. Ifølge TechCrunch kan en udgiver få betaling, når indhold optræder i Ceramic.ai-søgeresultater, eller når You.com får adgang til premiumindhold under de valgte regler.
Pay Per Use er ikke en offentlig lovregel og heller ikke en samlet standard for hele nettet. Det er en kommerciel infrastruktur omkring Cloudflares netværk. Dens betydning afhænger af, om nok udgivere, AI-virksomheder og tekniske mellemlag vælger at bruge modellen.
Hvad kan webstedsejere bruge ændringen til?
Ændringen giver webstedsejere et mere konkret grundlag for at styre automatiseret adgang. En udgiver kan for eksempel vælge, at åbne nyhedssider må indekseres til søgning, mens dybere analyseindhold, kursusmateriale eller premiumindhold ikke må bruges til træning uden en aftale.
- Et medie kan skelne mellem søgetrafik og træningsbrug, så synlighed ikke automatisk betyder fri modeltræning.
- En uddannelsesinstitution kan gennemgå, om undervisningsmaterialer bør være åbne for agentbrug eller kun for almindelig webadgang.
- En virksomhed kan sætte tekniske regler for produktdokumentation, kundevendt videnbase og internt materiale, der ved en fejl ligger offentligt.
Det ændrer ikke grundspørgsmålet om AI og ophavsret. Det gør derimod kontrollen mere operationel, fordi webstedsejeren kan udtrykke og håndhæve nogle valg tættere på den faktiske trafik.
Hvad løser ændringen ikke?
Cloudflares model løser ikke alle konflikter om AI og webindhold. Crawlere uden for Cloudflares netværk kan stadig hente indhold på andre måder, og uærlige aktører kan forsøge at skjule formål eller identitet. Det er også muligt, at nogle AI-tjenester vælger at bruge andre datakilder.
Reglerne kan heller ikke alene afgøre, om tidligere indsamlet materiale må bruges. Hvis data allerede er hentet, trænet ind i en model eller kopieret til tredjepartsdatasæt, kræver vurderingen andre kilder end den aktuelle serveradgang.
Der kan også være en afvejning mellem synlighed og kontrol. Hvis en stor crawler ikke kan skille søgning fra træning, kan en blokering påvirke, hvordan en side bliver fundet. Cloudflare præsenterer netop adskillelsen af crawlerformål som en måde at gøre den afvejning mindre grov.
Hvad betyder det for organisationer i Danmark?
For organisationer i Danmark er nyheden især relevant, hvis de publicerer viden, nyheder, produktdata, undervisningsmateriale eller dokumentation på åbne websteder. Kilden dokumenterer ikke en særlig dansk ordning, men teknikken kan få praktisk betydning for danske domæner, der bruger Cloudflare eller lignende kontrolværktøjer.
Databeskyttelse kræver en separat vurdering. Hvis offentligt webindhold indeholder personoplysninger, handler GDPR og AI-træningsdata ikke kun om crawlerblokering, men også om formål, hjemmel, gennemsigtighed, dataminimering og eventuelle aftaler med leverandører.
Det samme gælder offentlige arbejdspladser, skoler og virksomheder med meget fagligt indhold. De bør ikke antage, at en teknisk blokering alene afklarer rettigheder, databehandlerroller eller brug af beskyttet materiale. Den kan være et kontrolpunkt i en bredere politik for publicering og AI-brug.
Hvilke kontrolpunkter bør vurderes før brug?
Cloudflares ændring gør det mere praktisk at stille konkrete spørgsmål, før en organisation åbner eller lukker for AI-crawlere. Kontrolpunkterne bør handle om både teknologi, rettigheder og arbejdsproces.
- Hvilke dele af webstedet skal kunne findes i almindelig søgning?
- Hvilket indhold må AI-agenter hente for at svare en bruger eller udføre en opgave?
- Må materiale bruges til modeltræning, og er der aftalegrundlag for det?
- Indeholder siderne personoplysninger, elevdata, kundedata eller fortrolig viden?
- Hvem i organisationen må ændre regler for crawleradgang?
Disse valg passer naturligt ind i en intern AI-politik. Politikken bør forklare, hvilke typer indhold organisationen udgiver, hvilke AI-formål der accepteres, og hvordan tekniske indstillinger kontrolleres løbende.
Hvordan adskiller dette sig fra robots.txt?
Robots.txt er en velkendt fil, hvor et websted kan angive, hvilke crawlere der bør undgå bestemte dele af siden. Den er nyttig, men bygger i høj grad på, at crawleren respekterer signalet. Den siger heller ikke nødvendigvis noget præcist om, hvorvidt indhold bruges til søgning, agentbrug, træning eller en kombination.
Cloudflares tilgang kombinerer signaler med netværksbaseret håndhævelse. Det betyder, at trafikken kan afvises ved Cloudflares kantnetværk, hvis den matcher en blokeret crawlerkategori. Samtidig forsøger Content-Signal-formatet at gøre formål og tilladt brug mere maskinlæsbart.
Forskellen er derfor både teknisk og praktisk: robots.txt udtrykker en præference, mens en blokering i infrastruktur kan stoppe adgang. Ingen af delene erstatter en juridisk vurdering af rettigheder, licenser eller persondata.
Hvordan kan ændringen påvirke AI-tjenester?
AI-tjenester kan blive nødt til at dokumentere crawlerformål tydeligere. Hvis en virksomhed vil bruge webindhold til både søgning, agentfunktioner og træning, kan blandet trafik få dårligere adgang på sider, der håndhæver Cloudflares nye regler.
Det kan fremme mere specialiserede crawlere: én til søgning, én til agentopslag og én til træningsdata. Det kan også øge interessen for licenserede datasæt, udgiveraftaler og tekniske standarder, hvor formål er tydeligt markeret.
For slutbrugeren kan virkningen være indirekte. AI-assistenter kan i nogle tilfælde få mindre adgang til åbent webindhold, mens udgivere får flere værktøjer til at stille betingelser. Hvor mærkbart det bliver, afhænger af hvilke websteder, crawlere og AI-tjenester der tilpasser sig.
Hvilke kilder ligger til grund?
Artiklen bygger på TechCrunchs omtale af Cloudflares nye AI-crawlerpolitik, Cloudflares egen forklaring af nye AI-trafikvalg for websteder og Cloudflares tidligere gennemgang af robots.txt-styring og blokering af AI-træning. Den lokale datavinkel er afgrænset med Europa-Kommissionens oversigt over EU’s databeskyttelsesregler.