AI-agent crawlers: nu toestemming nodig, zo regelt u het

Sophie Jansen · 2026-07-13

Vanaf 15 september krijgen AI-agent crawlers standaard geen toegang meer tot een deel van het web. Cloudflare kondigde de wijziging aan op 1 juli. De meeste berichtgeving richtte zich op Google, maar het interessantste deel is wat dit betekent voor iedereen die AI-agents bouwt en wat Cloudflare hen biedt. ### Wat verandert er precies? Cloudflare heeft de oude knop om AI-bots te blokkeren vervangen door drie duidelijke categorieen: - **Search**: bots die een pagina indexeren om later vragen over de inhoud te beantwoorden. - **Agent**: geautomatiseerde systemen die in realtime voor een gebruiker handelen, zoals de fetch-bot van ChatGPT en browser-gestuurde agents. - **Training**: crawlers die content binnenhalen om een model te trainen. Deze opties zijn sinds 1 juli beschikbaar voor elke Cloudflare-klant, ook voor gebruikers van het gratis abonnement.  ### Vanaf 15 september worden de standaardinstellingen anders Op 15 september veranderen de standaardinstellingen. Training en Agent worden dan geblokkeerd op pagina's die advertenties tonen, terwijl Search gewoon blijft toegestaan. Dit geldt voor nieuwe domeinen die Cloudflare gebruiken, nieuwe websites van bestaande klanten en alle bestaande gratis gebruikers. Wie dit niet wil, kan de blokkade uitschakelen via de beveiligingsinstellingen. Cloudflare's redenering is simpel: een advertentie bewijst dat een pagina voor mensen is gemaakt. Een search-crawler die een lezer terugstuurt naar de site, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, is dat niet. ### Wat AI-agent crawlers nu tegenkomen Agentische toepassingen gingen er altijd van uit dat het open web open zou blijven. Een research-agent haalt de prijzenpagina van een concurrent op. Een monitoringtool controleert de aankondigingen van een leverancier. Een klantenservice-agent trekt het specificatieblad van een fabrikant binnen. Geen van deze acties had een licentie nodig, en tot nu toe was dat ook niet het geval. Cloudflare staat voor een groot deel van het wereldwijde webverkeer. De blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agents willen gebruiken, omdat daar nieuws, reviews, prijzen en productinformatie te vinden zijn. Het probleem voor een enterprise-agent is geen rechtszaak, maar stilte, of een antwoord dat is opgebouwd uit wat nog wel bereikbaar is. ### De Google-factor Er is een complicatie met Google. Googlebot crawlt voor zowel search als training met een enkele bot. Onder de strengste regel blokkeert een site die Training uitschakelt daarmee ook Googlebot. Cloudflare-CEO Matthew Prince hoopt dat de veranderingen 'gemengde crawlers aanmoedigen om search van agent- en trainingsgebruik te scheiden'. Dat is een beleefde manier om te zeggen dat de druk het doel is. ### Toestemming krijgen voor AI-agent crawlers Iedereen die agents beheert, moet eerst uitzoeken welke Cloudflare-accounts als Agent-class worden gezien. De classificatie is gebaseerd op gedrag, niet op een opt-in. Een research-agent die in realtime surft, wordt dus opgemerkt, ongeacht of de beheerder het een crawler vindt. Verwacht een verminderde dekking, geen volledige mislukking. De blokkade raakt alleen advertentie-ondersteunde pagina's. De oplossing is onderhandelde toegang, niet een herschreven user-agent-string. ### Wat uitgevers moeten doen Uitgevers hebben een andere takenlijst. Controleer eerst uw abonnementsvorm, want bestaande gratis gebruikers worden automatisch overgezet naar de nieuwe standaardinstellingen op 15 september. Beslis daarna of het blokkeren van Training de moeite waard is, omdat het Googlebot meeneemt en daarmee uw zichtbaarheid in zoekresultaten. ### Het geld is de moeite waard Het mechanisme om in de gaten te houden is het geld. Pay Per Crawl wordt Pay Per Use. Ceramic.ai betaalt uitgevers wanneer hun content in AI-zoekresultaten verschijnt, en You.com betaalt wanneer een agent premium content bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd. Er is dus aan beide kanten verspilling die het waard is om te beprijzen. ### Dit is de eerste ronde Dit is de eerste ronde van de strijd om toegang tot content voor AI. Het is een signaal dat de open web-aanname niet langer vanzelfsprekend is. Wie agents bouwt, moet nu nadenken over licenties en toegang. Wie content maakt, moet beslissen wat hij wil beschermen. De komende maanden zullen laten zien wie het beste kan onderhandelen.