Walmart beperkt het gebruik van AI-assistent Code Puppy na onverwacht hoge kosten. Werknemers krijgen vaste tokens toegewezen om de balans tussen productiviteit en uitgaven te bewaren. Dit toont de realiteit van AI-kosten voor grote bedrijven.
Walmart heeft onlangs maatregelen genomen om het gebruik van zijn interne AI-assistent, Code Puppy, te beperken. De vraag naar de LLM achter deze tool bleek namelijk veel hoger dan verwacht. Werknemers kregen eerst onbeperkt toegang, maar nu krijgen ze een vast aantal AI-tokens toegewezen. Dit beperkt hoeveel ze de assistent kunnen gebruiken. Code Puppy was bedoeld voor taken zoals het analyseren van spreadsheets, het maken van presentaties en andere automatiseerbare werkzaamheden.
### Waarom deze verandering?
Deze beleidswijziging is een kostenbesparende maatregel. LLM's stappen steeds vaker over op een betalen-per-gebruik-model, in plaats van een vast abonnement dat bijna onbeperkte toegang gaf. Walmart heeft ongeveer 2,1 miljoen werknemers. Zelfs bescheiden queries per persoon kunnen al leiden tot aanzienlijke kosten. Het bedrijf wil nu dat werknemers AI alleen inzetten waar het echt waarde toevoegt.
### De uitdaging van AI-productiviteit
Walmart heeft AI-tools uitgebreid en trainingen gegeven om werknemers aan te moedigen te experimenteren. Maar nu de kosten per interactie direct worden gefactureerd, worstelt het bedrijf, net als andere grote ondernemingen, met de balans tussen productiviteitswinst en de bijbehorende kosten.
Een deel van het probleem ligt in hoe productiviteit wordt gemeten in AI-workflows. Eerder leidde het tellen van het aantal en de complexiteit van AI-gebruik tot 'gamification' van KPI's, ook wel 'token maxxing' genoemd. In april van dit jaar zei een partner van Sequoia Capital nog tegen The Wall Street Journal: "We zouden allemaal moeten tokenmaxxen." Dit leidde tot AI-ranglijsten in bedrijven om de beste gebruikers te vieren.
### De echte kosten van AI
Dergelijke prestatiegerichte praktijken worden nu steeds duurder. Grotere modellen die recursieve acties uitvoeren ('denkmodellen') gebruiken meer tokens om inputs te verwerken, wat leidt tot hogere rekeningen. Walmart moedigt werknemers aan om het juiste model te kiezen voor de taak, om te voorkomen dat dure, geavanceerde modellen worden gebruikt voor simpele taken zoals spreadsheetanalyse.
Multi-agentische AI-workflows kunnen ook onverwachte kosten opleveren. Wanneer werknemers iteratieve lussen starten met meerdere agents om een gewenst resultaat te bereiken, worden de kosten van suboptimale resultaten en het herhaaldelijk aanpassen van prompts nu meetbaar in harde euro's.
### De nieuwe realiteit van AI-facturering
Niet alle AI-aanbieders zijn overgestapt op betalen-per-token, maar zowel Anthropic als OpenAI hebben hun duurdere enterprise-plannen al aangepast. Microsoft's beslissing om vanaf 1 juni kosten in rekening te brengen voor GitHub Copilot past in deze trend. Uber onthulde onlangs dat het zijn AI-budget voor 2026 al in de eerste vier maanden van dit jaar had verbruikt, een teken van de veranderende factureringsmethoden.
Door per werknemer een limiet te stellen op het aantal tokens, probeert Walmart de lopende kosten te beheersen, zorgvuldiger AI-gebruik af te dwingen en de return on investment van AI meetbaar te maken. Dit is een les voor elke organisatie die AI wil inzetten: de technologie is krachtig, maar de kosten kunnen snel oplopen. Het is essentieel om een strategie te hebben die waarde en kosten in balans houdt.