AI-agent crawlers: toestemming nodig vanaf september

Sophie Jansen · 2026-07-13

Vanaf 15 september worden AI-agent crawlers standaard geblokkeerd op een deel van het web. Cloudflare kondigde de verandering aan op 1 juli, en de meeste aandacht ging naar Google. Het belangrijkste is wat het vraagt van iedereen die agents bouwt, en wat het hen biedt. ### Drie categorieen in plaats van een schakelaar Cloudflare heeft de oude 'blokkeer AI-bots'-knop vervangen door drie categorieen: - **Search**: bots die een pagina indexeren om later vragen te beantwoorden. - **Agent**: geautomatiseerde systemen die in realtime handelen voor een gebruiker, zoals ChatGPT's fetch-bot en browsersturende agents. - **Training**: crawlers die content in een model stoppen voor training. Deze opties zijn sinds 1 juli beschikbaar voor alle klanten, inclusief de gratis laag. ### Wat er verandert op 15 september Vanaf 15 september worden Training en Agent standaard geblokkeerd op pagina's met advertenties. Search blijft toegestaan. Dit geldt voor nieuwe domeinen, nieuwe sites van bestaande klanten en alle bestaande gratis gebruikers. Wie dit niet wil, kan het uitschakelen in de beveiligingsinstellingen. Cloudflare's reden: een advertentie laat zien dat een pagina voor mensen is gemaakt. Een search-crawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, niet. ### Wat AI-agent crawlers nu tegenkomen Agentische systemen gaan ervan uit dat het open web open blijft. Een onderzoeksagent haalt een prijspagina van een concurrent op. Een monitoringtool controleert leveranciersaankondigingen. Een klantenservice-agent pakt een specificatieblad van een fabrikant. Dit alles zonder licentie, en tot nu toe zonder dat het nodig was. Cloudflare staat voor een groot deel van het wereldwijde webverkeer. De blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentiepagina's zijn precies de pagina's die agents willen: nieuws, reviews, prijzen en productdekking. Het faalmoment voor een zakelijke agent is geen rechtszaak, maar stilte of een antwoord gebaseerd op wat nog bereikbaar is. ### De Google-complicatie Googlebot crawlt zowel voor search als training in een enkele bot. Onder de strengste regel blokkeert een site die Training blokkeert ook Googlebot. Cloudflare-CEO Matthew Prince hoopt dat de veranderingen gemengde crawlers aanmoedigen om search, agentgebruik en training te scheiden. Dat is een beleefde manier om te zeggen dat de druk het punt is. ### Toestemming krijgen voor AI-agent crawlers Iedereen die agents runt, moet uitzoeken welke Cloudflare-accounts als Agent-class worden gezien. De classificatie is gedragsmatig, niet opt-in. Een onderzoeksagent die in realtime surft, wordt dus geraakt, ongeacht of de operator het een crawler vindt. Verwacht verminderde dekking in plaats van een complete storing: de blokkade raakt advertentiepagina's, de rest blijft bereikbaar. De oplossing is onderhandelde toegang, niet een herschreven user-agent string. ### Wat uitgevers moeten doen Uitgevers hebben een andere takenlijst: - Controleer je tier, want bestaande gratis gebruikers worden automatisch overgezet op 15 september. - Beslis of het blokkeren van Training de moeite waard is, want het neemt Googlebot mee en daarmee je zichtbaarheid in zoekresultaten. ### Geld als drijvende kracht Het mechanisme om in de gaten te houden is geld. Pay Per Crawl wordt Pay Per Use. Ceramic.ai betaalt uitgevers wanneer hun content in AI-zoekresultaten verschijnt. You.com betaalt wanneer een agent premium content bereikt. Cloudflare zegt dat meer dan de helft van AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd. Dat is verspilling aan beide kanten die het waard is om te prijzen. Dit is de eerste ronde van de strijd om toegang tot het open web voor AI-systemen. De balans tussen openheid en controle zal de komende maanden verder worden bepaald.