Cloudflare blokkeert AI agent crawlers: zo krijg je toegang

Sophie Jansen · 2026-07-13

Vanaf 15 september worden AI agent crawlers standaard geblokkeerd op een deel van het web. Cloudflare heeft dit op 1 juli aangekondigd en de meeste berichtgeving richtte zich op Google. Het interessantere deel is wat het vraagt van iedereen die agents bouwt, en wat het hen teruggeeft. ### Drie categorieën in plaats van één schakelaar Cloudflare heeft de oude knop 'AI-bots blokkeren' vervangen door drie aparte categorieën. **Search** dekt bots die een pagina indexeren om later vragen te beantwoorden. **Agent** omvat geautomatiseerde systemen die in realtime voor een gebruiker handelen, zoals de fetch-bot van ChatGPT en browser-sturende agents. **Training** dekt crawlers die content in de gewichten van een model trekken. De bediening ging op 1 juli live voor elke klant, inclusief de gratis laag. ### Wat verandert er op 15 september? Vanaf 15 september veranderen de standaardinstellingen. Training en Agent worden geblokkeerd op pagina's die advertenties tonen, terwijl Search toegestaan blijft. De nieuwe standaard geldt voor domeinen die nieuw bij Cloudflare komen, nieuwe sites van bestaande klanten en alle bestaande gratis-laag klanten. Wie de blokkade niet wil, kan zich voor die datum afmelden via de beveiligingsinstellingen. Cloudflare's logica is simpel: een advertentie bewijst dat een pagina voor een mens is gebouwd. Een search crawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, niet. ### Wat AI agent crawlers nu tegenkomen Agentische implementaties zijn gebouwd op de aanname dat het open web open blijft. Een onderzoeksagent haalt de prijspagina van een concurrent op. Een monitoringtool checkt de aankondigingen van een leverancier. Een klantenservice-agent trekt het specificatieblad van een fabrikant. Geen van deze handelingen vereist een licentie, en tot nu toe had niemand er een nodig. Cloudflare staat voor een groot deel van het wereldwijde webverkeer en de blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agents willen, omdat daar nieuws, reviews, prijzen en productdekking te vinden zijn. De faalmodus voor een enterprise agent is niet een rechtszaak. Het is stilte, of een antwoord gebouwd uit wat het nog wel kon bereiken. ### De Google-complicatie Er is een Google-vormige complicatie. Googlebot crawlt voor zowel search als training in één bot, dus onder de meest restrictieve regel blokkeert een site die Training blokkeert ook Googlebot. Cloudflare-CEO Matthew Prince zei dat het bedrijf hoopt dat de veranderingen "gemengde crawlers zullen aanmoedigen om search te scheiden van agentgebruik en training", wat een beleefde manier is om te zeggen dat de druk het punt is. ### Toestemming krijgen voor AI agent crawlers Iedereen die agents runt, moet beginnen met uitzoeken welke van hun Cloudflare-accounts als Agent-klasse worden gelezen. De classificatie is gedragsmatig, niet iets waar je voor kiest, dus een research agent die in realtime browset, wordt betrapt, ongeacht of de operator het als een crawler beschouwt. Verwacht verminderde dekking in plaats van een schone fout, omdat de blokkade op advertentie-ondersteunde pagina's landt en de rest bereikbaar laat. Onderhandelde toegang, niet een herschreven user-agent string, is de weg vooruit. ### Wat uitgevers moeten doen Uitgevers hebben een andere takenlijst. Controleer eerst je tier, want bestaande gratis-laag klanten worden automatisch op 15 september naar de nieuwe standaard verplaatst, een detail dat de meeste berichtgeving oversloeg. Beslis dan of het blokkeren van Training de moeite waard is, want het neemt Googlebot mee en daarmee je zichtbaarheid in zoekmachines. ### Het geldmechanisme Het mechanisme om in de gaten te houden is het geld. Pay Per Crawl wordt Pay Per Use, met Ceramic.ai die uitgevers betaalt wanneer hun content in AI-zoekresultaten verschijnt, en You.com die betaalt wanneer een agent premium content bereikt. Cloudflare zegt dat meer dan de helft van het AI crawler-verkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd, dus er is aan beide kanten verspilling die het waard is om te prijzen. Dit is de eerste ronde van de content.