Cloudflare wilt dat Google zijn AI-crawler splitst — en wat dat betekent voor het web

Waarom een eerlijk web nu meer dan ooit om duidelijke spelregels vraagt

In een recent artikel op het Cloudflare-blog pleit het bedrijf er samen met andere voorstanders voor dat Google zijn AI-crawling volledig scheidt van zijn zoek-crawler, om zo een eerlijke concurrentiestrijd op het internet te garanderen en de rechten van contentmakers beter te beschermen. 

Google’s AI advantage: why crawler separation is the only path to a fair Internet Get the latest news on how products at Cloudflare are built, technologies used, and open positions to join the teams helping to build a better Internet. https://blog.cloudflare.com

Het probleem: Eén crawler voor alles

Cloudflare wijst op een steeds zichtbaardere spanning in hoe content op het web wordt gebruikt. Google gebruikt én zijn zoekindexeringcrawler én zijn AI-toepassingen om dezelfde content in te zetten — zoals in AI-Overviews en andere AI-features die informatie opvragen en samenvatten. Omdat contentmakers hun site nodig hebben voor zoekverkeer, kunnen ze Google niet blokkeren, zelfs als ze zouden willen dat hun content niet door AI-systemen wordt gebruikt zonder compensatie. 

Deze dubbele rol van Googlebot geeft Google een structureel voordeel boven andere AI-ontwikkelaars, die niet kunnen terugvallen op dezelfde infrastructuur en toegang. Volgens Cloudflare leidt dit tot een oneerlijke markt waarin kleine spelers en nieuwkomers geen gelijke kansen krijgen. 

Waarom opt-out geen echte oplossing is

De UK’s Competition and Markets Authority (CMA) heeft eerder voorstellen gedaan om uitgevers meer controle te geven over hoe hun content in AI-systemen wordt gebruikt — maar volgens Cloudflare gaat dit niet ver genoeg. Simple opt-out-mechanismen of Google-beheerste instellingen zouden eerder de afhankelijkheid van Google versterken, in plaats van echt keuzevrijheid te bieden. 

Cloudflare betoogt dat het simpelweg verbieden van AI-toegang via opt-out geen sterke genoeg waarborg biedt, omdat Google nog steeds de technische controle behoudt en uitgevers weinig andere opties hebben zonder consequenties voor hun zichtbaarheid in zoekresultaten. 

Een voorstel: Crawler-scheiding als eerlijke remedie

Het kernvoorstel van Cloudflare is helder: laat Google zijn crawlers opsplitsen in twee afzonderlijke systemen — één voor traditionele zoek-indexering en één voor AI-toepassingen. Op die manier kunnen uitgevers zelf kiezen welke delen van hun content gebruikt worden voor welke doeleinden, zonder dat dit hun zoekverkeer ondermijnt. 

Volgens Cloudflare is deze aanpak technisch haalbaar en zelfs in lijn met hoe Google al tientallen gespecialiseerde crawlers inzet. Het zou publishers veel meer zeggenschap geven over hoe en door wie hun materiaal wordt gebruikt — en zo een eerlijk speelveld creëren voor andere AI-bedrijven om te concurreren. 

Wat staat er op het spel?

De discussie raakt essentiële vragen over hoe het internet functioneert in het tijdperk van AI:

• Wie bepaalt hoeveel content gebruikt mag worden door AI-systemen?
• Hoe garanderen we dat contentmakers eerlijke vergoeding en zichtbaarheid krijgen?
• Kan de dominante positie van een gigant als Google worden beperkt zonder het open karakter van het web te schaden?

Cloudflare benadrukt dat het niet tegen AI-innovatie is, maar juist wil dat de voorwaarden voor toegang tot content eerlijk zijn, zodat ook andere spelers kunnen innoveren en er een gezonde markt ontstaat.