AI-agentcrawlers hebben nu toestemming nodig: zo krijg je die

Sophie Jansen · 2026-07-13

Vanaf 15 september worden AI-agentcrawlers standaard geblokkeerd op een deel van het web. Cloudflare kondigde de wijziging aan op 1 juli, en de meeste berichtgeving richtte zich op Google. Het nuttigste deel is wat het vraagt van iedereen die agents bouwt, en wat het hen biedt in ruil. ### Drie categorieen in plaats van een knop Cloudflare heeft de oude knop om alle AI-bots te blokkeren vervangen door drie categorieen. **Search** dekt bots die een pagina indexeren om later vragen te beantwoorden. **Agent** omvat geautomatiseerde systemen die in realtime handelen voor een gebruiker, zoals ChatGPT's fetch-bot en browser-sturende agents. **Training** dekt crawlers die content in de wegingen van een model trekken. De bedieningselementen gingen op 1 juli live voor elke klant, inclusief de gratis laag. ### Wat er verandert op 15 september Vanaf 15 september wijzigen de standaardinstellingen. Training en Agent worden geblokkeerd op pagina's met advertenties, terwijl Search toegestaan blijft. De nieuwe standaardinstellingen gelden voor domeinen die nieuw bij Cloudflare onboarden, nieuwe sites van bestaande klanten en alle bestaande gratis-laag klanten. Wie ze niet wil, kan zich voor die datum afmelden via de beveiligingsinstellingen. Cloudflare's logica: een advertentie bewijst dat een pagina voor een mens is gebouwd. Een zoekcrawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, niet. ### Wat AI-agentcrawlers nu tegenkomen Agentische implementaties zijn gebouwd op de aanname dat het open web open blijft. Een onderzoeksagent haalt de prijspagina van een concurrent op. Een monitoringtool controleert de aankondigingen van een leverancier. Een klantenservice-agent trekt het specificatieblad van een fabrikant. Geen van deze zaken vereist een licentie, en tot nu toe had niemand die nodig. Cloudflare zit voor een groot deel van het wereldwijde webverkeer en de blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agents willen, want daar staan nieuws, recensies, prijzen en productdekking. De faalmodus voor een enterprise-agent is geen rechtszaak. Het is stilte, of een antwoord dat is opgebouwd uit wat het nog kon bereiken. Er is een Google-vormige complicatie. Googlebot crawlt voor zowel zoeken als training in een enkele bot, dus onder de meest restrictieve regel blokkeert een site die Training blokkeert ook Googlebot. Cloudflare-CEO Matthew Prince zei dat het bedrijf hoopt dat de wijzigingen 'gemengde crawlers zullen aanmoedigen om zoeken te scheiden van agentgebruik en training', wat een beleefde manier is om te zeggen dat de druk het punt is. ### Toestemming krijgen voor AI-agentcrawlers Iedereen die agents runt, moet beginnen met uitzoeken welke van hun Cloudflare-accounts als Agent-klasse worden gelezen. De classificatie is gedragsmatig, niet iets waar je je voor aanmeldt, dus een onderzoeksagent die in realtime surft, wordt opgemerkt, ongeacht of de operator het als crawler beschouwt. Verwacht verminderde dekking in plaats van een schone fout, omdat de blokkade op advertentie-ondersteunde pagina's landt en de rest bereikbaar laat. Onderhandelde toegang, niet een herschreven user-agent-string, is de weg erdoorheen. ### Wat uitgevers moeten doen Uitgevers hebben een andere takenlijst. Controleer eerst je laag, want bestaande gratis-laag klanten worden automatisch op 15 september naar de nieuwe standaardinstellingen verplaatst, een detail dat de meeste berichtgeving oversloeg. Beslis dan of het blokkeren van Training de kosten waard is, want het neemt Googlebot mee en daarmee je zichtbaarheid in zoekresultaten. ### Het geldmechanisme Het mechanisme om in de gaten te houden is het geld. Pay Per Crawl wordt Pay Per Use, waarbij Ceramic.ai uitgevers betaalt wanneer hun content verschijnt in AI-zoekresultaten, en You.com betaalt wanneer een agent premium-content bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd, dus er is aan beide kanten verspilling die het waard is om te prijzen. Dit is de eerste ronde van de onderhandelingen. De komende maanden zullen laten zien wie het meest te verliezen heeft.