AI-agentcrawlers hebben nu toestemming nodig: zo krijg je het

Sophie Jansen · 2026-07-13

Sinds 15 september worden AI-agentcrawlers standaard geblokkeerd op een deel van het web. Cloudflare kondigde deze verandering aan op 1 juli, en de meeste berichtgeving richtte zich op Google. Maar het belangrijkste is wat dit betekent voor iedereen die agenten bouwt en wat het hen biedt. ### Wat verandert er precies? Cloudflare heeft de oude schakelaar voor het blokkeren van AI-bots vervangen door drie categorieen. Zoeken dekt bots die een pagina indexeren om later vragen te beantwoorden. Agent dekt geautomatiseerde systemen die in realtime voor een gebruiker handelen, zoals de fetch-bot van ChatGPT en browsersturende agenten. Training dekt crawlers die content in de gewichten van een model trekken. De bedieningselementen gingen op 1 juli live voor elke klant, inclusief de gratis laag. Vanaf 15 september veranderen de standaardinstellingen. Training en Agent worden geblokkeerd op pagina's met advertenties, terwijl Zoeken toegestaan blijft. De nieuwe standaardinstellingen gelden voor domeinen die nieuw bij Cloudflare komen, nieuwe sites van bestaande klanten en alle bestaande gratis-laagklanten. Wie ze niet wil, kan zich via de beveiligingsinstellingen afmelden voor de datum. De logica van Cloudflare is dat een advertentie bewijst dat een pagina voor een mens is gebouwd om op te landen. Een zoekcrawler die een lezer terugstuurt, is een verwijzing. Een bot die de pagina leest en het antwoord aan iemand anders geeft, is dat niet.  ### Waar AI-agentcrawlers nu tegenaan lopen Agentische implementaties zijn gebouwd op de aanname dat het open web open blijft. Een onderzoeksagent haalt de prijspagina van een concurrent op. Een monitoringtool controleert de aankondigingen van een leverancier. Een klantenserviceagent trekt het specificatieblad van een fabrikant. Geen van deze zaken vereist een licentie, en tot nu toe had niemand die nodig. Cloudflare zit voor een groot deel van het wereldwijde webverkeer en de blokkades werken op netwerkniveau, niet als een robots.txt-suggestie die een crawler kan negeren. Advertentie-ondersteunde pagina's zijn precies de pagina's die agenten willen, omdat daar nieuws, recensies, prijzen en productdekking te vinden zijn. De faalmodus voor een zakelijke agent is geen rechtszaak. Het is stilte, of een antwoord dat is opgebouwd uit wat hij nog kon bereiken. Er is een Google-vormige complicatie. Googlebot crawlt voor zowel zoeken als training in een enkele bot, dus onder de meest restrictieve regel blokkeert een site die Training blokkeert ook Googlebot. Cloudflare-CEO Matthew Prince zei dat het bedrijf hoopt dat de veranderingen 'gemengde crawlers zullen aanmoedigen om zoeken te scheiden van agentgebruik en training', wat een beleefde manier is om te zeggen dat de druk het punt is.  ### Toestemming krijgen voor AI-agentcrawlers Iedereen die agenten runt, moet beginnen met uitzoeken welke van hun Cloudflare-accounts als Agent-klasse worden gelezen. De classificatie is gedragsmatig, niet iets waar je je voor aanmeldt, dus een onderzoeksagent die in realtime surft, wordt opgemerkt, ongeacht of de operator het als crawler beschouwt. Verwacht een verminderde dekking in plaats van een schone fout, omdat de blokkade op advertentie-ondersteunde pagina's valt en de rest bereikbaar laat. Onderhandelde toegang, niet een herschreven user-agent string, is de manier. Uitgevers hebben een andere takenlijst. Controleer eerst je laag, omdat bestaande gratis-laagklanten automatisch worden overgezet naar de nieuwe standaardinstellingen op 15 september, een detail dat de meeste berichtgeving oversloeg. Beslis dan of het blokkeren van Training de moeite waard is, omdat het Googlebot meeneemt en daarmee je zichtbaarheid in zoekmachines. ### De rol van geld Het mechanisme dat het bekijken waard is, is het geld. Pay Per Crawl wordt Pay Per Use, met Ceramic.ai die uitgevers betaalt wanneer hun content in AI-zoekresultaten verschijnt, en You.com die betaalt wanneer een agent premiumcontent bereikt. Cloudflare zegt dat meer dan de helft van het AI-crawlerverkeer wordt besteed aan het opnieuw ophalen van pagina's die niet zijn veranderd, dus er is aan beide kanten verspilling die het waard is om te prijzen. Dit is de eerste ronde van de onderhandelingen. De open web-toegang die agenten als vanzelfsprekend beschouwden, is niet langer gegarandeerd. Vooruitkijken betekent begrijpen dat toestemming de nieuwe valuta is.