AI-crawlers hebben nu toestemming nodig: zo krijg je die

Sophie Jansen · 2026-07-13

Vanaf 15 september worden AI-agentcrawlers standaard geblokkeerd op een deel van het web. Cloudflare kondigde deze wijziging aan op 1 juli. De meeste aandacht ging naar Google, maar het belangrijkste is wat dit betekent voor iedereen die agenten bouwt en wat Cloudflare ervoor teruggeeft. ### Wat verandert er precies? Cloudflare heeft zijn eenvoudige blokkeerknop voor AI-bots vervangen door drie categorieen: - **Search**: bots die een pagina indexeren om later vragen over te beantwoorden. - **Agent**: geautomatiseerde systemen die in realtime voor een gebruiker handelen, zoals ChatGPT's fetch-bot en browser-sturende agenten. - **Training**: crawlers die content in de gewichten van een model trekken. Deze bedieningselementen zijn sinds 1 juli beschikbaar voor elke klant, inclusief het gratis niveau. Vanaf 15 september veranderen de standaardinstellingen. Training en Agent worden geblokkeerd op pagina's met advertenties, terwijl Search toegestaan blijft. Dit geldt voor nieuwe domeinen die Cloudflare gebruiken, nieuwe sites van bestaande klanten en alle bestaande gratis klanten. Wie dit niet wil, kan zich voor die datum afmelden via de beveiligingsinstellingen. Cloudflare's reden is simpel: een advertentie bewijst dat een pagina voor een mens is gemaakt. Een zoekcrawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, niet.  ### Wat AI-agentcrawlers nu tegenkomen Agentische implementaties zijn gebouwd op de aanname dat het open web open blijft. Een onderzoeksagent haalt de prijspagina van een concurrent op. Een monitoringtool controleert aankondigingen van een leverancier. Een klantenservice-agent trekt een specificatieblad van een fabrikant. Geen van deze acties had een licentie nodig, en tot nu toe was dat ook niet nodig. Cloudflare staat voor een groot deel van het wereldwijde webverkeer, en de blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agenten willen, omdat daar nieuws, recensies, prijzen en productdekking te vinden zijn. De faalmodus voor een enterprise-agent is geen rechtszaak, maar stilte, of een antwoord dat is opgebouwd uit wat nog wel bereikbaar is. Er is een Google-vormige complicatie. Googlebot crawlt voor zowel zoeken als training in een enkele bot, dus onder de meest restrictieve regel blokkeert een site die Training blokkeert ook Googlebot. Cloudflare-CEO Matthew Prince hoopt dat de veranderingen 'gemengde crawlers zullen aanmoedigen om zoeken te scheiden van agentgebruik en training', wat een beleefde manier is om te zeggen dat de druk het punt is. ### Toestemming krijgen voor AI-agentcrawlers Iedereen die agenten runt, moet beginnen met uitzoeken welke Cloudflare-accounts als Agent-klasse worden gelezen. De classificatie is gedragsmatig, niet iets waar je voor kiest. Een onderzoeksagent die in realtime surft, wordt dus opgemerkt, of de operator het nu een crawler vindt of niet. Verwacht een verminderde dekking, geen volledige storing, omdat de blokkade op advertentie-ondersteunde pagina's valt en de rest bereikbaar blijft. Onderhandelde toegang, niet een herschreven user-agent-string, is de weg vooruit. Uitgevers hebben een andere takenlijst. Controleer eerst je niveau, omdat bestaande gratis klanten automatisch op 15 september naar de nieuwe standaardinstellingen worden gezet, een detail dat de meeste berichtgeving oversloeg. Beslis dan of het blokkeren van Training de moeite waard is, omdat het Googlebot meeneemt en daarmee je zichtbaarheid in zoekresultaten. ### Het geldmechanisme Het mechanisme om in de gaten te houden is het geld. Pay Per Crawl wordt Pay Per Use, met Ceramic.ai dat uitgevers betaalt wanneer hun content in AI-zoekresultaten verschijnt, en You.com dat betaalt wanneer een agent premium-content bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd, dus er is aan beide kanten verspilling die het waard is om te beprijzen. Dit is de eerste ronde van de content-onderhandelingen. Wie nu zijn zaken op orde heeft, staat straks sterker.