Cloudflare blokkeert AI-crawlers: wat nu?

Sophie Jansen · 2026-07-13

Vanaf 15 september worden AI-agentcrawlers standaard geblokkeerd op een deel van het web. Cloudflare kondigde deze wijziging aan op 1 juli, en de meeste berichtgeving richtte zich op Google. Het belangrijkste is wat dit betekent voor iedereen die agents bouwt en wat Cloudflare hen biedt. Cloudflare verving de enkele schakelaar voor het blokkeren van AI-bots door drie categorieën: Zoeken (indexeert pagina's voor later beantwoorden van vragen), Agent (geautomatiseerde systemen die in realtime handelen voor een gebruiker, zoals ChatGPT's fetch-bot en browsersturende agents) en Training (crawlers die content in modelgewichten trekken). De bedieningselementen gingen op 1 juli live voor elke klant, inclusief de gratis laag. ### Wat verandert er op 15 september? Vanaf 15 september worden de standaardinstellingen gewijzigd. Training en Agent worden geblokkeerd op pagina's met advertenties, terwijl Zoeken is toegestaan. Deze nieuwe standaardinstellingen gelden voor nieuw aangemelde domeinen bij Cloudflare, nieuwe sites van bestaande klanten en alle bestaande gratis-laag klanten. Iedereen die deze blokkades niet wil, kan zich afmelden via de beveiligingsinstellingen voor die datum. ### De logica achter de blokkade Cloudflare's redenering is simpel: een advertentie bewijst dat een pagina voor een mens is gebouwd. Een zoekcrawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, is dat niet. ### Wat AI-agentcrawlers nu tegenkomen Agentische implementaties zijn gebouwd op de aanname dat het open web open blijft. Een onderzoeksagent haalt de prijspagina van een concurrent op. Een monitoringtool controleert de aankondigingen van een leverancier. Een klantenserviceagent trekt het specificatieblad van een fabrikant. Geen van deze handelingen vereiste een licentie, en tot nu toe had niemand die nodig. Cloudflare zit voor een groot deel van het wereldwijde webverkeer en de blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agents willen, omdat daar nieuws, reviews, prijzen en productdekking te vinden zijn. De faalmodus voor een enterprise-agent is geen rechtszaak. Het is stilte, of een antwoord gebaseerd op wat het nog kon bereiken. ### De Google-complicatie Er is een Google-vormige complicatie. Googlebot crawlt voor zowel zoeken als training in een enkele bot, dus onder de meest restrictieve regel blokkeert een site die Training blokkeert ook Googlebot. Cloudflare-CEO Matthew Prince zei dat het bedrijf hoopt dat de veranderingen "gemengd gebruik-crawlers zullen aanmoedigen om zoeken te scheiden van agentgebruik en training", wat een beleefde manier is om te zeggen dat de druk het punt is. ### Toestemming krijgen voor AI-agentcrawlers Iedereen die agents runt, moet beginnen met uitzoeken welke van hun Cloudflare-accounts als Agent-klasse worden gelezen. De classificatie is gedragsmatig, niet iets waar je je voor aanmeldt, dus een onderzoeksagent die in realtime surft, wordt opgepakt, ongeacht of de operator het als een crawler beschouwt. Verwacht een verminderde dekking in plaats van een volledige storing, omdat de blokkade op advertentie-ondersteunde pagina's valt en de rest bereikbaar blijft. Onderhandelde toegang, niet een herschreven user-agent-string, is de manier om erdoorheen te komen. ### Wat uitgevers moeten doen Uitgevers hebben een andere takenlijst. Controleer eerst je laag, omdat bestaande gratis-laag klanten automatisch naar de nieuwe standaardinstellingen worden verplaatst op 15 september, een detail dat de meeste berichtgeving oversloeg. Beslis vervolgens of het blokkeren van Training de moeite waard is, omdat het Googlebot meeneemt en daarmee je zichtbaarheid in zoekmachines. ### De rol van geld Het mechanisme dat het bekijken waard is, is geld. Pay Per Crawl wordt Pay Per Use, met Ceramic.ai die uitgevers betaalt wanneer hun content in AI-zoekresultaten verschijnt, en You.com die betaalt wanneer een agent premiumcontent bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd, dus er is aan beide kanten verspilling die het waard is om te prijzen. Dit is de eerste ronde van de onderhandelingen over wie er toegang krijgt tot wat op het web, en de prijskaartjes worden steeds duidelijker.