Cloudflare Laat Websites AI Bots Belasten met ‘Betalen per Crawl’

Cloudflare biedt uitgevers een nieuwe optie: AI-bots in rekening brengen voor het doorzoeken van hun sites met behulp van een hersteld HTTP 402 betalingssysteem.

Met haar nieuwe “Pay Per Crawl” systeem kunnen website-eigenaren AI-bots in rekening brengen om toegang te krijgen tot hun inhoud. Het systeem biedt uitgevers een alternatieve benadering van hun huidige tweevoudige beleid, dat ofwel AI datascraping toestaat, ofwel volledige blokkering van AI-toegang.

“Veel uitgevers, contentmakers en website-eigenaren hebben momenteel het gevoel dat ze een binaire keuze hebben – of ze laten de voordeur wijd open voor AI om alles wat ze creëren te consumeren, of ze creëren hun eigen ommuurde tuin,” zei Cloudflare. “Maar wat als er een andere manier was?”

Met Pay Per Crawl kunnen contentmakers nu beslissen wie er binnenkomt en tegen welke prijs. Ze kunnen sommige AI-crawlers gratis binnenlaten, anderen volledig blokkeren, of toegang in rekening brengen. “We wilden dat contentmakers controle hadden over wie toegang heeft tot hun werk,” zei Cloudflare. “Creators zouden aan het stuur moeten zitten.”

De stap wordt gezet te midden van toenemende weerstand tegen AI-bedrijven die webinhoud gebruiken zonder toestemming. Bijvoorbeeld, YouTube heeft kritiek gekregen omdat het Google toestond om video’s te scrapen zonder de makers op de hoogte te stellen. Daarnaast heeft Google’s AI Overviews functie het verkeer naar nieuwssites zoals de HuffPost en The Washington Post met meer dan 50% verminderd.

“Google neemt gewoon inhoud met geweld en gebruikt het zonder retour – de definitie van diefstal,” zei Danielle Coffey, voorzitter van de News/Media Alliance.

Het hulpmiddel werkt met een oude webfunctie: HTTP-responscode 402, wat staat voor “Betaling Vereist”. Als een AI-bot probeert toegang te krijgen tot een pagina kan de server nu antwoorden met een 402 en een prijskaartje toevoegen. Als de bot instemt met betalen, levert de server de inhoud.

Cloudflare biedt de technische infrastructuur en handelt de betalingen af. Uitgevers kunnen een vaste prijs per crawl-aanvraag instellen en zelfs verschillende regels toepassen voor verschillende bots. Zelfs als een bot niet is geregistreerd bij Cloudflare, kan het nog steeds “in rekening worden gebracht” – dit blokkeert in feite de toegang, maar laat ruimte voor toekomstige deals.

Dit systeem zou in de toekomst kunnen leiden tot meer flexibele licenties en dynamische prijzen. Zoals Cloudflare het verwoordt: “Door makers te voorzien van een robuust, programmatisch mechanisme voor het waarderen en beheren van hun digitale activa, stellen we hen in staat om door te gaan met het creëren van de rijke, gevarieerde inhoud die het internet onmisbaar maakt.”