Perplexity onder vuur: ‘AI-zoekmachine omzeilt websitebeveiliging’

Bots met een dubbele agenda: Cloudflare beschuldigt Perplexity van digitale inbraak.

AI-bedrijf zou websites scannen ondanks verboden

De spanningen tussen technologiebedrijven lopen op nu Cloudflare openlijk Perplexity AI beschuldigt van het heimelijk scrapen van websites die expliciet aangeven dat ze niet gecrawld willen worden. Volgens Cloudflare maakt Perplexity gebruik van "stealth crawlers" — bots die hun ware identiteit verhullen en zich voordoen als gewone browsers om digitale toegangsregels te omzeilen.

Cloudflare, een van de grootste internetbeveiligingsbedrijven ter wereld, stelt dat deze praktijk niet alleen oneerlijk is, maar ook opzettelijk misleidend. "Ze gedragen zich als Noord-Koreaanse hackers," aldus CEO Matthew Prince. "Dit is geen per ongeluk misverstand — dit is doelbewust ontwijken van onze bescherming."

De digitale val: Hoe Cloudflare Perplexity betrapte

Om de praktijken van Perplexity aan te tonen, zette Cloudflare een valstrik op. Het creëerde testwebsites met duidelijke robots.txt-regels die AI-bots expliciet verboden om de inhoud te bezoeken. Toch verschenen deze sites in de zoekresultaten van Perplexity.

Cloudflare ontdekte dat de AI-tool eerst via haar eigen officiële bots probeerde binnen te komen. Werden deze geblokkeerd, dan schakelde Perplexity over op een heimelijke tactiek: de bots veranderden hun digitale identiteit en deden zich voor als een menselijke browser, zoals Google Chrome op macOS. Ook gebruikten ze IP-adressen van andere netwerken om blokkades te omzeilen.

Perplexity slaat terug

Perplexity ontkent dat het bewust regels overtreedt. In een officiële verklaring noemt het bedrijf de beschuldigingen "ongefundeerd" en beweert het dat veel van de verdacht gemaakte verzoeken niet van hen afkomstig zijn. Het spreekt van "misverstanden" en suggereert dat Cloudflare deze aanval gebruikt als publiciteitsstunt.

Toch blijft het stil vanuit Perplexity als het gaat om concrete tegenbewijzen. Volgens Cloudflare’s technische analyse is het patroon onmiskenbaar, en zouden de crawlers zelfs nooit robots.txt-bestanden opvragen — wat normaal gezien standaardgedrag is voor goed functionerende bots.

Ethische bots versus cowboy-AI

De kwestie raakt aan een fundamenteel probleem binnen de AI-industrie: mag je zomaar het internet afstruinen voor data, zelfs als je daar geen toestemming voor hebt? Steeds meer uitgevers en platforms trekken de grens. Denk aan mediabedrijven als de BBC, Reuters en Dow Jones, die dreigen met juridische stappen wanneer AI-bedrijven zonder licentie hun inhoud gebruiken.

Cloudflare grijpt dit moment aan om een duidelijk standpunt in te nemen: AI-bedrijven moeten expliciet toestemming vragen voordat ze data van websites gebruiken. Daarom voert het nu een standaardblokkade in tegen niet-geautoriseerde AI-bots en promoot het een nieuw systeem waarin alleen op basis van toestemming toegang wordt verleend — het zogeheten “opt-in model”.

OpenAI als goed voorbeeld

In de communicatie benadrukt Cloudflare dat niet alle AI-bedrijven over de schreef gaan. Zo wordt OpenAI geprezen omdat het bots inzet die zich correct identificeren, robots.txt respecteren en meteen stoppen als ze geblokkeerd worden.

Volgens Cloudflare toont dit aan dat ethisch webgedrag perfect mogelijk is — als de wil er is. Het contrast met Perplexity kon amper groter zijn.

Een strijd met gevolgen

Deze bots-strijd tussen Cloudflare en Perplexity is meer dan een technisch meningsverschil. Het gaat om de toekomst van hoe AI-modellen data verzamelen en welke rechten websites hebben over hun eigen inhoud. De zaak kan bepalend zijn voor de relatie tussen uitgevers, AI-bedrijven en platformen die het internet draaiende houden.

Voor Perplexity dreigt reputatieschade. Voor Cloudflare is dit een kans om zich te profileren als bewaker van ethisch internetgedrag. En voor de rest van de AI-industrie? Die kijkt gespannen toe — want wie de regels buigt, loopt vanaf nu het risico publiekelijk aan de schandpaal genageld te worden.

Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives Perplexity is repeatedly modifying their user agent and changing IPs and ASNs to hide their crawling activity, in direct conflict with explicit no-crawl preferences expressed by websites. https://blog.cloudflare.com