AI-crawlers vanaf september geblokkeerd: zo krijg je toegang

Sophie Jansen · 2026-07-13

AI-agent crawlers, de bots die in realtime pagina's ophalen voor iemand die wacht op een antwoord, worden vanaf 15 september standaard geblokkeerd op een deel van het web. Cloudflare kondigde de verandering aan op 1 juli, en de meeste berichtgeving richtte zich sindsdien op Google. Het nuttigste deel is wat het vraagt van iedereen die agents bouwt, en wat het hen teruggeeft. ### Cloudflare's nieuwe categorieen voor AI-bots Cloudflare heeft zijn enkele schakelaar voor het blokkeren van AI-bots vervangen door drie categorieen. **Search** dekt bots die een pagina indexeren om later vragen te beantwoorden. **Agent** dekt geautomatiseerde systemen die in realtime voor een gebruiker handelen, waaronder de fetch-bot van ChatGPT en browser-sturende agents. **Training** dekt crawlers die inhoud in de gewichten van een model trekken. De bedieningselementen gingen op 1 juli live voor elke klant, inclusief de gratis laag. Vanaf 15 september veranderen de standaardinstellingen. Training en Agent worden geblokkeerd op pagina's die advertenties tonen, terwijl Search toegestaan blijft. De nieuwe standaardinstellingen gelden voor domeinen die nieuw aanmelden bij Cloudflare, nieuwe sites van bestaande klanten en alle bestaande gratis-laag klanten. Iedereen die ze niet wil, kan zich voor die datum afmelden via de beveiligingsinstellingen. Cloudflare's logica is dat een advertentie bewijs is dat een pagina is gebouwd voor een mens om op te landen. Een zoekcrawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, is dat niet. ### Waar AI-agent crawlers nu tegenaan lopen Agentische implementaties zijn gebouwd op de aanname dat het open web open blijft. Een onderzoeksagent haalt de prijspagina van een concurrent op. Een monitoringtool controleert aankondigingen van een leverancier. Een klantenservice-agent trekt een specificatieblad van een fabrikant. Geen hiervan vereist een licentie, en tot nu toe had niemand er een nodig. Cloudflare zit voor een groot deel van het wereldwijde webverkeer en zijn blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agents willen, want daar vind je nieuws, recensies, prijzen en productdekking. De faalmodus voor een enterprise-agent is geen rechtszaak. Het is stilte, of een antwoord gebouwd uit wat het nog wel kon bereiken. Er is een Google-vormige complicatie. Googlebot crawlt voor zowel zoeken als training in een enkele bot, dus onder de meest restrictieve regel blokkeert een site die Training blokkeert ook Googlebot. Cloudflare CEO Matthew Prince zei dat het bedrijf hoopt dat de veranderingen 'gemengde crawlers zullen aanmoedigen om zoeken te scheiden van agentgebruik en training', wat een beleefde manier is om te zeggen dat de druk het punt is. ### Toestemming krijgen voor AI-agent crawlers Iedereen die agents runt, moet beginnen met uitzoeken welke van hun Cloudflare-accounts als Agent-klasse worden gelezen. De classificatie is gedragsmatig, niet iets waar je je voor aanmeldt, dus een onderzoeksagent die in realtime bladert, wordt gevangen, of de operator het nu als een crawler beschouwt of niet. Verwacht verminderde dekking in plaats van een schone mislukking, want de blokkade landt op advertentie-ondersteunde pagina's en laat de rest bereikbaar. Onderhandelde toegang, niet een herschreven user-agent string, is de weg erdoorheen. Uitgevers hebben een andere takenlijst. Controleer eerst je laag, want bestaande gratis-laag klanten worden automatisch verplaatst naar de nieuwe standaardinstellingen op 15 september, een detail dat de meeste berichtgeving oversloeg. Beslis dan of het blokkeren van Training de kosten waard is, want het neemt Googlebot mee en daarmee je zichtbaarheid in zoekresultaten. ### Het mechanisme om in de gaten te houden: geld Het mechanisme dat het bekijken waard is, is het geld. Pay Per Crawl wordt Pay Per Use, met Ceramic.ai dat uitgevers betaalt wanneer hun inhoud verschijnt in AI-zoekresultaten, en You.com dat betaalt wanneer een agent premium-inhoud bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd, dus er is aan beide kanten verspilling die het waard is om te prijzen. - Pay Per Use modellen worden steeds gangbaarder - Uitgevers kunnen onderhandelen over toegang - Agents moeten hun Cloudflare-classificatie controleren Dit is de eerste ronde van de content-onderhandelingen. De komende maanden zullen laten zien wie er wint: de uitgevers die hun inhoud beschermen, of de AI-bedrijven die er toegang toe nodig hebben.