AI-agent crawlers: toestemming nodig vanaf september

Sophie Jansen · 2026-07-13

Vanaf 15 september worden AI-agent crawlers standaard geblokkeerd op een deel van het web. Cloudflare maakte de wijziging op 1 juli bekend, en de meeste aandacht ging naar Google. Maar het belangrijkste is wat dit betekent voor iedereen die agents bouwt, en wat Cloudflare hen in ruil biedt. ### Wat verandert er precies? Cloudflare heeft de oude schakelaar voor het blokkeren van AI-bots vervangen door drie categorieën: - **Search**: bots die een pagina indexeren om later vragen te beantwoorden. - **Agent**: geautomatiseerde systemen die in realtime handelen voor een gebruiker, zoals ChatGPT's fetch-bot en browser-gestuurde agents. - **Training**: crawlers die content in de gewichten van een model trekken. Deze opties zijn sinds 1 juli beschikbaar voor elke klant, ook voor het gratis abonnement.  ### Nieuwe standaardinstellingen Vanaf 15 september veranderen de standaardinstellingen. Training en Agent worden geblokkeerd op pagina's met advertenties, terwijl Search toegestaan blijft. Dit geldt voor nieuwe domeinen, nieuwe sites van bestaande klanten en alle bestaande gratis abonnementen. Wie de blokkade niet wil, kan via de beveiligingsinstellingen aangeven dat hij of zij de AI-crawlers wel wil toelaten. Cloudflare's redenering: een advertentie bewijst dat een pagina bedoeld is voor menselijk bezoek. Een search-crawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, is dat niet.  ### Wat betekent dit voor AI-agent crawlers? Agentische toepassingen zijn gebouwd op de aanname dat het open web open blijft. Een research-agent haalt de prijspagina van een concurrent op. Een monitoring-tool controleert de aankondigingen van een leverancier. Een klantenservice-agent trekt het specificatieblad van een fabrikant erbij. Geen van deze acties vereiste tot nu toe een licentie. Cloudflare staat voor een groot deel van het wereldwijde webverkeer en blokkeert op netwerkniveau, niet via een robots.txt-bestand dat een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agents willen, omdat daar nieuws, reviews, prijzen en productinformatie te vinden zijn. Het faalscenario voor een enterprise-agent is geen rechtszaak, maar stilte of een antwoord dat gebaseerd is op wat nog wel bereikbaar is. ### De Google-complicatie Er is een complicatie met Google. Googlebot crawlt voor zowel search als training in een enkele bot, dus als je Training blokkeert, blokkeer je ook Googlebot. Cloudflare-CEO Matthew Prince hoopt dat de wijzigingen 'gemengde crawlers aanmoedigen om search te scheiden van agent-gebruik en training'. Dat is een beleefde manier om te zeggen dat de druk het doel is. ### Hoe krijg je toestemming voor AI-agent crawlers? Iedereen die agents runt, moet eerst nagaan welke Cloudflare-accounts als Agent-class worden gezien. De classificatie is gedragsmatig, niet iets waar je voor kiest. Een research-agent die in realtime surft, wordt dus opgemerkt, ongeacht of de operator hem als crawler beschouwt. Verwacht een verminderde dekking, geen volledige mislukking. De blokkade treft alleen advertentie-ondersteunde pagina's. De oplossing is onderhandelde toegang, niet een herschreven user-agent string. ### Wat moeten uitgevers doen? Uitgevers hebben een andere takenlijst. Controleer eerst je abonnementsvorm, want bestaande gratis abonnementen worden op 15 september automatisch overgezet. Bepaal vervolgens of het blokkeren van Training de moeite waard is, want het kost je Googlebot en daarmee je zichtbaarheid in zoekresultaten. Het mechanisme om in de gaten te houden is geld. Pay Per Crawl wordt Pay Per Use. Ceramic.ai betaalt uitgevers wanneer hun content in AI-zoekresultaten verschijnt, en You.com betaalt wanneer een agent premium content bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd. Er is dus aan beide kanten verspilling die het waard is om te beprijzen. Dit is de eerste ronde van de onderhandelingen.