Walmart beperkt AI-tokens: kostenrealiteit slaat toe
Sophie Jansen ยท
Luister naar dit artikel~4 min
Walmart beperkt AI-tokens voor medewerkers na onverwacht hoge kosten. Ontdek hoe het bedrijf de balans zoekt tussen productiviteit en uitgaven in een nieuw betalingsmodel.
Walmart heeft onlangs het gebruik van zijn interne AI-assistent, genaamd Code Puppy, beperkt. De vraag naar de LLM (Large Language Model) die de tool aanstuurt, was namelijk veel hoger dan verwacht. Medewerkers werden eerst aangemoedigd om Code Puppy zonder enige restrictie te gebruiken, maar nu krijgen ze een vast aantal AI-tokens toegewezen. Dit beperkt hoeveel ze de tool kunnen inzetten. Code Puppy werd gepromoot als hulp bij taken zoals spreadsheetanalyse, het maken van presentaties en andere automatiseerbare werkzaamheden.
### Waarom de omslag?
Deze beleidswijziging is een kostenbesparende maatregel. LLM's stappen namelijk steeds vaker over op een betalingsmodel per gebruik, in plaats van een vast abonnementstarief dat bijna onbeperkte toegang tot AI-inferentie gaf. Met ongeveer 2,1 miljoen werknemers kunnen zelfs bescheiden query's en taakverzoeken per persoon leiden tot aanzienlijke kosten. Het wordt simpelweg te duur om iedereen onbeperkt te laten experimenteren.

### De nieuwe richtlijnen
Walmart geeft zijn medewerkers nu het advies om AI alleen te gebruiken waar het echt waarde toevoegt. Er zijn richtlijnen opgesteld over hoe werknemers de juiste AI-tool voor een specifieke taak kunnen kiezen. Daarnaast hebben medewerkers toegang tot andere AI-platforms die door het bedrijf worden betaald. Het bedrijf heeft AI-tools flink uitgebreid en trainingen gegeven, maar nu de kosten per interactie rechtstreeks in rekening worden gebracht, worstelt het met de balans tussen productiviteitswinst en de bijbehorende uitgaven.
### Het probleem van 'token maxxing'
Een deel van het probleem ligt mogelijk bij hoe productiviteit in AI-gestuurde workflows wordt gemeten. Het tellen van het aantal en de complexiteit van AI-gebruik als productiviteitsmaatstaf leidde tot 'gamificatie' van KPI's, ook wel 'token maxxing' genoemd. Een partner van Sequoia Capital zei eerder dit jaar tegen The Wall Street Journal: "We moeten allemaal tokenmaxxen." Dit leidde tot AI-ranglijsten binnen bedrijven om de beste gebruikers te vieren. Maar dergelijke prestatiegerichte praktijken worden nu duur.
> "We moeten allemaal tokenmaxxen." โ Sequoia Capital-partner
### De kostprijs van denken
Grotere modellen die recursieve acties uitvoeren, zogenaamde 'denkmodellen', gebruiken meer tokens om inputs te verwerken. Dit leidt tot hogere rekeningen voor gebruikers. Walmart's advies om zorgvuldig een model te kiezen, is een poging om uitgaven aan dure, geavanceerde modellen voor relatief triviale taken te beperken. Het is niet efficiรซnt om een supercomputer in te zetten voor een simpele som.
### Multi-agentische verrassingen
Multi-agentisch AI-werk kan ook onverwachte kosten veroorzaken. Wanneer medewerkers iteratieve lussen starten met meerdere agenten om een gewenst resultaat te bereiken, worden de werkelijke kosten van suboptimale resultaten en het verfijnen van prompts nu meetbaar in harde euro's. Elke mislukte poging kost geld.
### De nieuwe realiteit
Niet alle AI-aanbieders zijn volledig overgestapt op betalen per token, maar zowel Anthropic als OpenAI hebben hun duurdere enterprise-abonnementen al aangepast. Microsoft's beslissing om vanaf 1 juni te gaan betalen voor GitHub Copilot past in deze trend. Uber onthulde onlangs dat het zijn AI-budget voor 2026 al in de eerste vier maanden van dit jaar had opgebruikt. Dit toont aan hoe de veranderende facturering de eindgebruikers raakt.
### Conclusie
Door per werknemer limieten te stellen aan het tokenverbruik, probeert Walmart de lopende kosten onder controle te houden. Het dwingt tot doordachter gebruik van AI-tools en maakt het mogelijk om de return on investment te meten. Dit is een les voor elk bedrijf dat AI wil inzetten: de technologie is krachtig, maar de kosten kunnen snel oplopen.