AI-agent crawlers blokkeren? Zo krijg je toegang

Sophie Jansen · 2026-07-13

Vanaf 15 september worden AI-agent crawlers standaard geblokkeerd op een deel van het web. Cloudflare kondigde deze wijziging aan op 1 juli, en de meeste berichtgeving richtte zich op Google. Het nuttigste deel is echter wat het vraagt van iedereen die agents bouwt, en wat het hen biedt. Cloudflare verving de enkele schakelaar om AI-bots te blokkeren door drie categorieën: Zoeken (indexeert een pagina om later vragen te beantwoorden), Agent (geautomatiseerde systemen die in realtime voor een gebruiker handelen, inclusief ChatGPT's fetch-bot) en Training (crawlers die inhoud in modelgewichten trekken). De bedieningselementen gingen op 1 juli live voor elke klant, inclusief de gratis laag. Vanaf 15 september veranderen de standaardinstellingen. Training en Agent worden geblokkeerd op pagina's met advertenties, terwijl Zoeken toegestaan blijft. De nieuwe standaardinstellingen gelden voor domeinen die nieuw bij Cloudflare komen, nieuwe sites van bestaande klanten en alle bestaande gratis-laag klanten. Iedereen die dit niet wil, kan zich voor die datum afmelden via de beveiligingsinstellingen. De logica van Cloudflare is simpel: een advertentie bewijst dat een pagina voor een mens is gebouwd. Een zoekcrawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, niet. ### Wat AI-agent crawlers nu tegenkomen Agentische implementaties gingen ervan uit dat het open web open blijft. Een onderzoeksagent haalt de prijspagina van een concurrent op. Een monitoringtool controleert aankondigingen van een leverancier. Een klantenservice-agent trekt een specificatieblad van een fabrikant. Geen van deze acties vereiste een licentie, en tot nu toe had niemand die nodig. Cloudflare zit voor een groot deel van het wereldwijde webverkeer en blokkeert op netwerkniveau in plaats van als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agents willen, omdat daar nieuws, recensies, prijzen en productdekking te vinden zijn. De faalmodus voor een enterprise-agent is geen rechtszaak. Het is stilte, of een antwoord gebaseerd op wat het nog kon bereiken. Er is een Google-vormige complicatie. Googlebot crawlt voor zowel zoeken als training in een enkele bot, dus onder de meest restrictieve regel blokkeert een site die Training blokkeert ook Googlebot. Cloudflare-CEO Matthew Prince zei dat het bedrijf hoopt dat de wijzigingen "gemengde crawlers zullen aanmoedigen om zoeken te scheiden van agentgebruik en training", wat een beleefde manier is om te zeggen dat de druk het punt is. ### Toestemming krijgen voor AI-agent crawlers Iedereen die agents runt, moet beginnen met uitzoeken welke van hun Cloudflare-accounts als Agent-klasse worden gelezen. De classificatie is gedragsmatig, niet iets waar je voor kiest. Een onderzoeksagent die in realtime surft, wordt dus opgemerkt, of de operator het nu een crawler vindt of niet. Verwacht een verminderde dekking in plaats van een complete mislukking, omdat de blokkade alleen op advertentie-ondersteunde pagina's valt en de rest bereikbaar blijft. Onderhandelde toegang, niet een herschreven user-agent-string, is de weg vooruit. Publishers hebben een andere takenlijst. Controleer eerst je laag, want bestaande gratis-laag klanten worden op 15 september automatisch overgezet naar de nieuwe standaardinstellingen - een detail dat de meeste berichtgeving oversloeg. Beslis vervolgens of het blokkeren van Training de moeite waard is, omdat het Googlebot meeneemt en daarmee je zichtbaarheid in zoekmachines. ### Geld als drijvende kracht Het mechanisme dat het bekijken waard is, is het geld. Pay Per Crawl wordt Pay Per Use. Ceramic.ai betaalt uitgevers wanneer hun inhoud in AI-zoekresultaten verschijnt, en You.com betaalt wanneer een agent premium-inhoud bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd. Er is dus aan beide kanten verspilling die het waard is om te beprijzen. - Controleer of je Cloudflare-account als Agent-klasse wordt gezien. - Bepaal of je Training wilt blokkeren, wetende dat dit Googlebot beïnvloedt. - Onderhandel over toegang in plaats van user-agent strings te herschrijven. Dit is de eerste ronde van de content-onderhandelingen. De komende maanden zullen laten zien wie zich aanpast en wie achterblijft.