Van robots.txt naar licenties: Het internet herbouwt zijn regels

Een nieuw hoofdstuk in de relatie tussen internet en kunstmatige intelligentie is begonnen. Na maanden van discussie heeft het Really Simple Licensing-protocol (RSL) 1.0 officieel de status van industriestandaard gekregen. Met deze nieuwe open licentielaag kunnen online uitgevers eindelijk beslissen hoe en of AI-bedrijven hun content mogen gebruiken — en hen zelfs laten betalen voor die toegang.

Van robots.txt tot licentieprotocol

Lang was robots.txt de enige manier waarop websites konden aangeven welke robots toegestaan zijn én welke delen van een site niet gecrawld mochten worden. Maar die aanpak was beperkt: het gaf enkel toestemming of weigering — geen mogelijkheden om voorwaarden of betalingen af te dwingen.

Daar komt nu verandering in met RSL 1.0. Dit protocol bouwt voort op die oude structuur, maar voegt licentiebepalingen en vergoedingsvoorwaarden toe die door machines kunnen worden gelezen en geïnterpreteerd.

Met RSL kunnen uitgevers bijvoorbeeld:

• bepalen dat AI-bedrijven betaalde toegang moeten aanvragen voordat ze content kunnen gebruiken voor training;
• specifieke gebruiksdoelen uitsluiten (bijv. trainen of genereren);
• content open laten voor klassieke zoekmachines, maar gescheiden houden van AI-specifieke functies.

Ondersteuning van grote spelers

De adoptie gaat snel. Meer dan 1.500 media-organisaties en platforms hebben hun steun aan RSL uitgesproken, waaronder namen als Reddit, Quora, Medium, The Guardian en anderen — een flinke demonstratie van collectieve actie tegen ongeautoriseerd AI-gebruik.

Daarnaast ondersteunen belangrijke webinfrastructuurbedrijven zoals Cloudflare, Akamai en Fastly de standaard. Die bedrijven kunnen de technische handhaving ondersteunen en ondersteunen zo het idee dat AI-crawlers die zich niet aan licentieregels houden, kunnen worden geblokkeerd.

Geen blokkade, maar keuzevrijheid

Interessant aan RSL 1.0 is dat het niet simpelweg alles blokkeert; het geeft uitgevers keuzevrijheid. Met de nieuwe specificatie kan een website bijvoorbeeld gewoon zichtbaar blijven in traditionele zoekresultaten, terwijl het tegelijkertijd verhindert dat de content wordt meegenomen in AI-training of AI-zoekfuncties zoals de AI-modi van Google, tenzij daar expliciet toestemming voor is gegeven. 

Dat is een antwoord op een groeiend probleem: grote AI-bedrijven gebruiken enorme hoeveelheden online content om hun systemen te trainen — vaak zonder dat de oorspronkelijke makers daar voordeel van hebben gehad.

Juridische en economische context

De timing van RSL 1.0 valt samen met toenemende juridische aandacht. Zo onderzoekt de Europese Commissie of Google mogelijk concurrentieregels heeft geschonden door webinhoud te gebruiken voor AI-zoekfuncties zonder duidelijke afzendmogelijkheid voor uitgevers.

Naast technische signalen zijn de RSL-makers ook een samenwerkingsverband aangegaan met Creative Commons. Samen introduceren ze een nieuwe “bijdrage-betalingsoptie”, gericht op non-profitorganisaties en ontwikkelaars die waardevolle openbare kennis online beschikbaar stellen.

Wat betekent dit voor de toekomst van het internet?

RSL 1.0 markeert een duidelijke verschuiving: het internet gaat zich wapenen tegen het onbetaald exploiteren van content door AI-bedrijven. Of deze nieuwe standaard daadwerkelijk tot brede naleving leidt, hangt af van de bereidheid van grote AI-ontwikkelaars om licenties te respecteren — maar de steun van zowel uitgevers als infrastructuurpartners geeft reden tot optimisme.

New RSL Web Standard and Collective Rights Organization Automate Content Licensing for the AI-First Internet and enable Fair Compensation for Millions of Publishers and Creators | RSL: Really Simple Licensing The open content licensing standard for the AI-first Internet https://rslstandard.org