Tokenbudget verkleinen zonder je team te krimpen

·
Luister naar dit artikel~4 min
Tokenbudget verkleinen zonder je team te krimpen

Ontdek hoe je AI-tokenkosten drastisch verlaagt zonder personeel te ontslaan. Leer over prompt caching, slimme modelkeuzes en RAG voor een efficiënter tokenbudget.

Jensen Huang, CEO van Nvidia, heeft een simpele test voor zijn ingenieurs. Tijdens de All-In Podcast na GTC 2026 zei hij: als een ingenieur die €460.000 kost, jaarlijks minder dan de helft van dat bedrag aan AI-tokens verbruikt, dan is hij diep bezorgd. Nvidia werkt volgens hem aan een jaarlijkse tokenrekening van €1,84 miljard voor zijn technische team. Hij beschrijft een afweging die de meeste bedrijven al stiller hebben gemaakt: geld dat ooit naar mensen ging, gaat nu naar tokens. De vier grootste hyperscalers hebben gezamenlijk ongeveer €644 miljard aan kapitaaluitgaven voor 2026 begroot, bijna het dubbele van vorig jaar. Uit data van outplacementbureau Challenger, Gray & Christmas blijkt dat AI voor de vierde maand op rij de belangrijkste reden is voor ontslagen in de VS. ### De echte kosten van AI Een interne Meta-nota, verkregen door Reuters, beschreef de ontslagen van 8.000 mensen in mei als een manier om de enorme investeringen van het bedrijf te compenseren, in een kwartaal waarin de omzet met 33% groeide. Dit zijn geen overlevingsmaatregelen. Het is financiering. Het probleem is dat die financiering niet heeft gebracht wat het beloofde. Gartner ondervroeg 350 executives bij bedrijven met meer dan €920 miljoen omzet, die allemaal AI-agenten of automatisering inzetten. Ongeveer 80% had personeel ontslagen, zonder dat dit leidde tot betere resultaten. Analist Helen Poitevin was duidelijk: "Personeelsreducties creëren budgetruimte, maar ze creëren geen rendement." Uber leerde de token-kant van die les op dure wijze. Het gaf 5.000 ingenieurs AI-codeertools in december en had in april het hele AI-budget voor 2026 opgemaakt. COO Andrew Macdonald gaf toe dat 70% van de code door AI was gegenereerd, maar dat de link met wat klanten merken nog ontbreekt: "Die link is er nog niet." ### Waar het tokenbudget buigt Als je deze twee mislukkingen naast elkaar zet, wordt het echte probleem duidelijk. Bedrijven behandelden de tokenrekening als vast en het personeelsbestand als flexibel, terwijl het omgekeerde waar is. Loonkostenverlagingen gebeuren eenmalig en nemen institutionele kennis mee. Een tokenbudget blijkt op een half dozijn plekken te buigen, als iemand de moeite neemt om het te optimaliseren. De goedkoopste oplossing is ook de minst glamoureuze: stop met betalen om dezelfde tekst steeds opnieuw te verwerken. Prompt caching, nu standaard bij de grote API-aanbieders, verlaagt de kosten van herhaalde invoer met tot 90% bij Anthropic en OpenAI. Statische content zoals systeeminstructies en referentiedocumenten wordt eenmalig verwerkt en tegen een fractie van de kosten herlezen. Beveiligingsbedrijf ProjectDiscovery verhoogde zijn cache-hitratio van 7% naar 84% door prompts te herstructureren. Dit verlaagde de totale LLM-uitgaven met 59 tot 70%, terwijl 9,8 miljard tokens uit de cache werden bediend. Die ene technische oefening leverde meer budget op dan de meeste AI-gerelateerde ontslagrondes besparen. ### Slimmere modelkeuzes De volgende hefboom is het routeren van werk naar het juiste model. Prijslijsten van aanbieders laten zien dat vlaggenschipmodellen vijf keer zoveel per token kosten als hun kleinere broertjes. Toch sturen veel productieworkloads routinematige classificatie en samenvatting naar de duurste laag. Batchverwerking geeft nog eens 50% korting voor alles wat geen realtime antwoord nodig heeft. Retrieval-augmented generation pakt het probleem van een andere kant aan door het model alleen het relevante deel van een kennisbank te sturen, in plaats van de hele database. Prompt compression snoeit de overbodige voorbeelden die elke aanroep opblazen. Open-weight modellen verlagen de kosten verder, door routinematige taken af te handelen tegen een fractie van de API-prijzen van frontier-modellen, voor teams die de infrastructuur willen beheren. Deze maatregelen zijn simpelweg het AI-equivalent van het uitschakelen van de lichten in lege kamers. Uber's limiet van €1.380 per maand per ingenieur, opgelegd na de overschrijding in april, is het eerste bewijs dat het werkt.