In een wereld waar bots het internet domineren, wil Cloudflare het web efficiënter, eerlijker én sneller maken – en dat begint bij zoekmachines die eindelijk per klik betalen.
Een revolutie in web crawling
Cloudflare, bekend om zijn toonaangevende netwerkbeveiliging en prestatieverbetering, stelt een gedurfde nieuwe aanpak voor: Pay-per-Crawl. Met dit model wil het bedrijf een einde maken aan de ondoorzichtige en vaak inefficiënte manier waarop bots websites afstruinen. In plaats van een stortvloed aan verzoeken te accepteren van zoekmachines en AI-bots, krijgen website-eigenaars voortaan de touwtjes in handen – én de mogelijkheid om er iets aan te verdienen.
Waarom dit nodig is
Volgens Cloudflare bestaat tot wel 40% van al het webverkeer uit crawlers, waarvan een groot deel overbodig, redundant of zelfs schadelijk is. AI-bedrijven en zoekmachines kruipen dagelijks honderden keren over dezelfde pagina’s, zonder toegevoegde waarde voor de website zelf. Dat verbruikt niet alleen servercapaciteit, maar kost bedrijven ook geld.
Transparantie en controle voor website-eigenaars
Met Pay-per-Crawl kunnen ontwikkelaars en sitebeheerders zelf aangeven welke crawlers ze toelaten, onder welke voorwaarden, en tegen welke vergoeding. Crawlers die willen blijven langskomen, moeten zich houden aan de regels én betalen per verzoek. Cloudflare biedt daarvoor een API waarmee crawlers toegang kunnen aanvragen, gebruiksvoorwaarden accepteren en de bijhorende kosten betalen.
Win-win voor crawlers én websites
Dit model is niet bedoeld om web crawling te stoppen, integendeel. Het wil zorgen voor een gezonder evenwicht. Grote bedrijven zoals zoekmachines en AI-bedrijven krijgen legitieme toegang, terwijl websites worden gecompenseerd voor de belasting op hun infrastructuur. Ondertussen krijgen webbouwers de kans om crawling efficiënter en duurzamer te organiseren.
AI-bedrijven in de spotlight
De timing is opvallend: in een tijd waarin AI-systemen massaal publieke webinhoud verzamelen, komt Cloudflare met een manier om dat gebruik te reguleren. Het stelt dat als AI-bedrijven willen blijven trainen op open content, ze ook een faire prijs moeten betalen aan de makers ervan. Het systeem biedt zo ook een manier om auteursrechtelijke discussies over web scraping om te zetten in transparante, zakelijke afspraken.
Voorlopig nog in bèta
Pay-per-Crawl wordt momenteel uitgerold in bèta en is beschikbaar voor websites die gebruikmaken van Cloudflare’s platform. Zowel kleine ontwikkelaars als grote contentplatformen kunnen zich aanmelden om deel te nemen. Cloudflare hoopt dat dit initiatief zal uitgroeien tot een nieuwe standaard voor verantwoord en wederzijds voordelig crawlinggedrag.
Een eerlijker web
Met deze stap zet Cloudflare een opvallende stap in de richting van een duurzamer internet, waarin makers meer controle en compensatie krijgen, en waarin bots niet langer onzichtbaar door de digitale achterdeur sluipen. Het is een toekomstvisie waarin transparantie, efficiëntie en eerlijkheid centraal staan – en dat begint bij elke crawl.
|
Introducing Pay per crawl- enabling content owners to charge AI crawlers for accessPay per crawl is a new feature to allow content creators to charge AI crawlers for access to their content. |
