AI-crawlers blokkeren? Zo krijg je toestemming

Sophie Jansen · 2026-07-13

Vanaf 15 september worden AI-agentcrawlers standaard geblokkeerd op een deel van het web. Cloudflare kondigde deze wijziging aan op 1 juli, en de meeste aandacht ging naar Google. Maar het interessantste is wat dit betekent voor iedereen die agents bouwt en wat Cloudflare hen biedt. ### Drie categorieën voor AI-bots Cloudflare heeft de oude schakelaar voor het blokkeren van AI-bots vervangen door drie categorieën. **Search** omvat bots die een pagina indexeren om later vragen te beantwoorden. **Agent** betreft geautomatiseerde systemen die in realtime handelen voor een gebruiker, zoals ChatGPT's fetch-bot en browsersturende agents. **Training** dekt crawlers die inhoud in de gewichten van een model trekken. De bediening ging op 1 juli live voor elke klant, inclusief het gratis niveau. ### Wat verandert er op 15 september? Vanaf 15 september worden de standaardinstellingen gewijzigd. Training en Agent worden geblokkeerd op pagina's die advertenties tonen, terwijl Search toegestaan blijft. Deze nieuwe standaard geldt voor domeinen die nieuw bij Cloudflare komen, nieuwe sites van bestaande klanten en alle bestaande gratis klanten. Wie dit niet wil, kan voor die datum via de beveiligingsinstellingen uitschakelen. Cloudflare's redenering: een advertentie bewijst dat een pagina voor mensen is gebouwd. Een zoekcrawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, is dat niet. ### Wat AI-agentcrawlers nu tegenkomen Agentische implementaties zijn gebouwd op de aanname dat het open web open blijft. Een onderzoeksagent haalt de prijspagina van een concurrent op. Een monitoringtool controleert aankondigingen van een leverancier. Een klantenserviceagent trekt een specificatieblad van een fabrikant. Geen van deze handelingen vereist een licentie, en tot nu toe had niemand die nodig. Cloudflare staat voor een groot deel van het wereldwijde webverkeer en zijn blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agents willen, omdat daar nieuws, recensies, prijzen en productdekking te vinden zijn. De faalmodus voor een enterprise-agent is geen rechtszaak. Het is stilte, of een antwoord gebaseerd op wat het nog kon bereiken. Er is een Google-vormige complicatie. Googlebot crawlt voor zowel zoeken als training in een enkele bot, dus onder de meest restrictieve regel blokkeert een site die Training blokkeert ook Googlebot. Cloudflare-CEO Matthew Prince zei dat het bedrijf hoopt dat de wijzigingen "gemengde crawlers zullen aanmoedigen om zoeken te scheiden van agentgebruik en training", wat een beleefde manier is om te zeggen dat de druk het punt is. ### Toestemming krijgen voor AI-agentcrawlers Iedereen die agents draait, moet beginnen met uitzoeken welke van hun Cloudflare-accounts als Agent-klasse worden gelezen. De classificatie is gedragsmatig, niet iets waar je voor kiest, dus een onderzoeksagent die in realtime surft, wordt gevangen, of de operator het nu als crawler beschouwt of niet. Verwacht verminderde dekking in plaats van een duidelijke fout, omdat de blokkade op advertentie-ondersteunde pagina's valt en de rest bereikbaar laat. Onderhandelde toegang, niet een herschreven user-agent-string, is de weg vooruit. ### Wat uitgevers moeten doen Uitgevers hebben een andere takenlijst. Controleer eerst je niveau, omdat bestaande gratis klanten automatisch worden overgezet naar de nieuwe standaard op 15 september, een detail dat de meeste berichtgeving oversloeg. Beslis dan of het blokkeren van Training de kosten waard is, omdat het Googlebot meeneemt en daarmee je zichtbaarheid in zoekresultaten. ### Het geldmechanisme Het mechanisme dat het bekijken waard is, is het geld. Betalen per crawl wordt betalen per gebruik. Ceramic.ai betaalt uitgevers wanneer hun inhoud verschijnt in AI-zoekresultaten, en You.com betaalt wanneer een agent premium-inhoud bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd, dus er is aan beide kanten verspilling die het waard is om te prijzen. Dit is de eerste ronde van de strijd.