Cloudflare voert tol in voor bots: Crawling wordt niet langer meer gratis

Cloudflare voert tol in voor bots: Crawling wordt niet langer meer gratis

In een wereld waar bots het internet domineren, wil Cloudflare het web efficiënter, eerlijker én sneller maken – en dat begint bij zoekmachines die eindelijk per klik betalen.

Een revolutie in web crawling

Cloudflare, bekend om zijn toonaangevende netwerkbeveiliging en prestatieverbetering, stelt een gedurfde nieuwe aanpak voor: Pay-per-Crawl. Met dit model wil het bedrijf een einde maken aan de ondoorzichtige en vaak inefficiënte manier waarop bots websites afstruinen. In plaats van een stortvloed aan verzoeken te accepteren van zoekmachines en AI-bots, krijgen website-eigenaars voortaan de touwtjes in handen – én de mogelijkheid om er iets aan te verdienen.

Cloudflare CEO: Need to monetize the AI-driven web

Waarom dit nodig is

Volgens Cloudflare bestaat tot wel 40% van al het webverkeer uit crawlers, waarvan een groot deel overbodig, redundant of zelfs schadelijk is. AI-bedrijven en zoekmachines kruipen dagelijks honderden keren over dezelfde pagina’s, zonder toegevoegde waarde voor de website zelf. Dat verbruikt niet alleen servercapaciteit, maar kost bedrijven ook geld.

Transparantie en controle voor website-eigenaars

Met Pay-per-Crawl kunnen ontwikkelaars en sitebeheerders zelf aangeven welke crawlers ze toelaten, onder welke voorwaarden, en tegen welke vergoeding. Crawlers die willen blijven langskomen, moeten zich houden aan de regels én betalen per verzoek. Cloudflare biedt daarvoor een API waarmee crawlers toegang kunnen aanvragen, gebruiksvoorwaarden accepteren en de bijhorende kosten betalen.

Content Independence Day

Win-win voor crawlers én websites

Dit model is niet bedoeld om web crawling te stoppen, integendeel. Het wil zorgen voor een gezonder evenwicht. Grote bedrijven zoals zoekmachines en AI-bedrijven krijgen legitieme toegang, terwijl websites worden gecompenseerd voor de belasting op hun infrastructuur. Ondertussen krijgen webbouwers de kans om crawling efficiënter en duurzamer te organiseren.

AI-bedrijven in de spotlight

De timing is opvallend: in een tijd waarin AI-systemen massaal publieke webinhoud verzamelen, komt Cloudflare met een manier om dat gebruik te reguleren. Het stelt dat als AI-bedrijven willen blijven trainen op open content, ze ook een faire prijs moeten betalen aan de makers ervan. Het systeem biedt zo ook een manier om auteursrechtelijke discussies over web scraping om te zetten in transparante, zakelijke afspraken.

Voorlopig nog in bèta

Pay-per-Crawl wordt momenteel uitgerold in bèta en is beschikbaar voor websites die gebruikmaken van Cloudflare’s platform. Zowel kleine ontwikkelaars als grote contentplatformen kunnen zich aanmelden om deel te nemen. Cloudflare hoopt dat dit initiatief zal uitgroeien tot een nieuwe standaard voor verantwoord en wederzijds voordelig crawlinggedrag.

Een eerlijker web

Met deze stap zet Cloudflare een opvallende stap in de richting van een duurzamer internet, waarin makers meer controle en compensatie krijgen, en waarin bots niet langer onzichtbaar door de digitale achterdeur sluipen. Het is een toekomstvisie waarin transparantie, efficiëntie en eerlijkheid centraal staan – en dat begint bij elke crawl.

Introducing Pay per crawl- enabling content owners to charge AI crawlers for access

Introducing Pay per crawl- enabling content owners to charge AI crawlers for access

Pay per crawl is a new feature to allow content creators to charge AI crawlers for access to their content. 

https://blog.cloudflare.com

Aanbevolen voor jou

In de kijker

AI kan vanaf nu de muis overnemen op je scherm

AI kan vanaf nu de muis overnemen op je scherm

Meta zet de volgende stap in AI met AI-gegenereerde posts

Meta zet de volgende stap in AI met AI-gegenereerde posts

Salesforce presenteert Agentforce – Zoals AI voor Sales bedoeld is

Salesforce presenteert Agentforce – Zoals AI voor Sales bedoeld is

Google Earth laat gebruikers binnenkort ‘tijdreizen’ tot wel 80 jaar terug

Google Earth laat gebruikers binnenkort ‘tijdreizen’ tot wel 80 jaar terug

Updates

Inschrijven Nieuwsbrief

Zo word je altijd als eerste op de hoogte gebracht van ons laatste nieuws, updates, jobs, tips & promoties. Stay UP-TO-DATE!

WEBSITE LATEN MAKEN?​​​​​​​​​​​​​​

Kies voor een UP-TO-DATE AI Website 100% in Google

Een UP-TO-DATE AI Website maakt het gemakkelijk om automatisch up-to-date te blijven met je klanten en overal aanwezig te zijn.

Maak een afspraak