Nieuwe spelregels voor AI-crawlers
Cloudflare kondigt een doorbraak aan in de strijd om controle over webinhoud. Met de introductie van een nieuwe Content Signals Policy kunnen website-eigenaren nu op een fijnmazige manier aangeven hoe AI-systemen hun content mogen gebruiken. Daarmee gaat de onderneming verder dan het klassieke robots.txt-protocol.
|
Giving users choice with Cloudflare’s new Content Signals PolicyCloudflare’s Content Signals Policy gives creators a new tool to control use of their content. |
Wat dit beleid anders maakt: het stelt drie afzonderlijke signalen in waarmee een site kan aangeven:
- search — of de content mag worden opgenomen in zoekmachines (zoals links en korte fragmenten);
- ai-input — of content gebruikt mag worden als input voor AI-modellen (bijv. voor samenvattingen of antwoorden);
- ai-train — of content gebruikt mag worden om AI-modellen te trainen.
Met deze aanpak kunnen makers nu specifieker zeggen: “je mag indexeren, maar niet trainen,” of “gebruik content in generatieve AI-vragen, maar niet voor modeltraining,” enzovoort.
Cloudflare offers way to block AI Overviews – will Google comply?Cloudflare’s new Content Signals limit AI use of your content via robots.txt. However, it’s unclear whether Google or others will comply. |
Waarom deze stap? De druk op inhoudmakers
In het huidige AI-tijdperk groeien de zorgen bij uitgevers en makers dat hun werk zonder toestemming wordt verwerkt in (generatieve) AI-systemen, vaak zonder dat er verkeer naar de oorspronkelijke site terugvloeit. Dat ondermijnt de traditionele verdienmodellen van het web, die steunen op clicks en lezers die doorklikken.
Cloudflare goes after Google's AI Overviews with a new license for 20% of the webCloudflare is enhancing robots.txt, giving website owners more control over how AI systems access their data. |
Cloudflare benadrukt dat via hun netwerk inmiddels zo’n 20 % van het internet loopt. Voor al die domeinen kunnen de nieuwe signalen automatisch worden toegevoegd, zodat websites zonder technische aanpassingen al meer zeggenschap krijgen.
Matthew Prince, CEO van Cloudflare, stelde dat AI-bedrijven “niet langer kunnen negeren wat contentmakers willen” — en dat Google zich zal moeten schikken, al dan niet met aparte crawlers voor zoek en AI-overzichten.
|
An AI Index for all our customersCloudflare will soon automatically create an AI-optimized search index for your domain, and expose a set of ready-to-use standard APIs and tools including an MCP server, LLMs.txt, and a search API. For AI builders, Cloudflare will offer a new way to discover and retrieve web content. |
Hoe werkt de implementatie praktisch?
De Content Signals Policy wordt verwerkt in het bestaande robots.txt-bestand. Makers kunnen in machineleesbare vorm aangeven wat hun voorkeur is (“yes” = toegestaan, “no” = niet toegestaan, blanco = geen voorkeur).
Voor sites die gebruikmaken van Cloudflare’s beheerde robots.txt-dienst (meer dan 3,8 miljoen domeinen), wordt standaard ingesteld: search = yes, maar ai-train = no. De “ai-input”-optie blijft bij veel sites blanco — makers kunnen die zelf invullen.
Cloudflare updates robots.txt for the AI era – but publishers still want more bite against botsCloudflare's robots.txt update gives publishers more control over how AI crawlers use their content - like for Google AI Overviews. |
Belangrijk om te weten: deze signalen zijn géén technische blokkering. Ze zijn bedoeld als contractuele of juridische aanwijzing van wat wel en niet is toegestaan. Sommige AI-bedrijven zouden er alsnog aan voorbij kunnen gaan.
Project Galileo: Hulp voor onafhankelijke media
Naast de nieuwe policy breidt Cloudflare ook Project Galileo uit. Dit initiatief biedt non-profitorganisaties en onafhankelijke mediakanalen extra tools om AI-crawling te beheersen. Zo krijgen zij gratis toegang tot Bot Management en AI Crawl Control, om ongewenste AI-crawlers buiten te houden.
Voor lokale nieuwsplatformen en kleine uitgaven is dit van belang: AI-overzichten maken dat lezers snel antwoorden krijgen zonder door te klikken naar de originele site. Dat kan advertentie-inkomsten en betrokkenheid aantasten.
Wat betekent dit voor Google en andere AI-spelers?
Cloudflare richt zich expliciet op Google’s AI Overviews, dat vaak content direct presenteert zonder lezer door te sturen naar de bron. Omdat Google één crawler gebruikt voor zowel klassieke zoek als AI-overzichten, kan het voordeel hebben boven concurrenten.
De nieuwe signalen dwingen AI-bedrijven om transparanter te worden over wat hun bots doen — en bieden websites een basis om schadelijke praktijken juridisch aan te pakken als hun richtlijnen genegeerd worden.
Cloudflare ziet dit als een omslag: van een open “grijp-en-gebruik” internet naar een systeem waarin makers de voorwaarden kunnen stellen voor gebruik.
Grenzen, uitdagingen en toekomstperspectief
Ondanks de vooruitstrevende plannen zijn er kanttekeningen:
- Omdat signalen geen technische dwang zijn, kunnen AI-bedrijven ze negeren. Makers moeten aanvullende botsregels of juridische middelen hanteren.
- De adoptie van deze signalen door externe AI-spelers blijft onzeker — het is geen universele standaard (nog)
- Voor AI-bedrijven betekent dit mogelijk extra kosten of complexiteit (onderscheid maken tussen crawlers, respecteren van signalen, licentiedeals).
- Voor makers kan dit de weg openen naar een nieuw verdienmodel: “Pay per Crawl” of licenties voor AI-toegang kunnen inkomsten realiseren. Cloudflare introduceert ook AI Crawl Control met aanpasbare HTTP 402 (“Payment Required”) reacties om betalingsverzoeken aan bots door te geven.
