Cloudflare blokkeert AI-crawlers: zo krijg je toegang

Sophie Jansen · 2026-07-13

Vanaf 15 september worden AI-agent-crawlers standaard geblokkeerd op een deel van het web. Cloudflare kondigde deze wijziging aan op 1 juli, en de meeste berichtgeving richtte zich op Google. Het nuttigste deel is echter wat het vraagt van iedereen die agents bouwt, en wat het hen biedt. ### Wat verandert er precies? Cloudflare heeft de oude schakelaar voor het blokkeren van AI-bots vervangen door drie categorieën: - **Search:** Bots die een pagina indexeren om later vragen te beantwoorden. - **Agent:** Geautomatiseerde systemen die in realtime voor een gebruiker handelen, zoals ChatGPT's fetch-bot en browser-sturende agents. - **Training:** Crawlers die content in de gewichten van een model trekken. Deze instellingen gingen op 1 juli live voor elke klant, inclusief de gratis laag. Vanaf 15 september veranderen de standaardinstellingen. Training en Agent worden geblokkeerd op pagina's met advertenties, terwijl Search toegestaan blijft. Dit geldt voor nieuwe domeinen, nieuwe sites van bestaande klanten en alle bestaande gratis klanten. ### Waarom doet Cloudflare dit? Cloudflare's logica is simpel: een advertentie bewijst dat een pagina bedoeld is voor een mens. Een zoekcrawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, niet. ### Wat AI-agent-crawlers nu tegenkomen Agentische implementaties gingen ervan uit dat het open web open blijft. Een onderzoeksagent haalt de prijspagina van een concurrent op. Een monitoringtool controleert de aankondigingen van een leverancier. Een klantenservice-agent trekt het specificatieblad van een fabrikant. Geen van deze acties vereiste een licentie, en tot nu toe had niemand die nodig. Cloudflare staat voor een groot deel van het wereldwijde webverkeer en zijn blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agents willen, omdat daar nieuws, reviews, prijzen en productdekking te vinden zijn. De faalmodus voor een enterprise-agent is geen rechtszaak, maar stilte of een antwoord gebaseerd op wat het nog kon bereiken. ### De Google-complicatie Googlebot crawlt voor zowel zoeken als training in een enkele bot. Onder de meest restrictieve regel blokkeert een site die Training blokkeert dus ook Googlebot. Cloudflare-CEO Matthew Prince zei dat het bedrijf hoopt dat de wijzigingen "gemengde crawlers zullen aanmoedigen om zoeken te scheiden van agentgebruik en training", wat een beleefde manier is om te zeggen dat de druk het doel is. ### Toestemming krijgen voor AI-agent-crawlers Iedereen die agents beheert, moet beginnen met uitzoeken welke Cloudflare-accounts als Agent-klasse worden gelezen. De classificatie is gedragsmatig, niet iets waar je voor kiest. Een onderzoeksagent die in realtime surft, wordt dus opgemerkt, of de beheerder het nu een crawler noemt of niet. Verwacht een verminderde dekking, geen volledige storing, omdat de blokkade alleen op advertentie-ondersteunde pagina's valt. Onderhandelde toegang, niet een herschreven user-agent-string, is de weg vooruit. ### Wat uitgevers moeten doen Uitgevers hebben een andere takenlijst. Controleer eerst je abonnementsniveau, omdat bestaande gratis klanten automatisch naar de nieuwe standaardinstellingen worden verplaatst op 15 september, een detail dat de meeste berichtgeving oversloeg. Beslis vervolgens of het blokkeren van Training de kosten waard is, omdat het Googlebot meeneemt en daarmee je zichtbaarheid in zoekmachines. ### De rol van geld Het mechanisme dat het bekijken waard is, is het geld. Pay Per Crawl wordt Pay Per Use. Ceramic.ai betaalt uitgevers wanneer hun content in AI-zoekresultaten verschijnt, en You.com betaalt wanneer een agent premium content bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd. Er is dus aan beide kanten verspilling die het waard is om te beprijzen. Dit is de eerste ronde van de onderhandelingen.