OpenAI's eigen AI-chip: de JalapeƱo uitgelegd

Ā·
Luister naar dit artikel~4 min
OpenAI's eigen AI-chip: de JalapeƱo uitgelegd

OpenAI ontwikkelt eigen AI-chip, de JalapeƱo, om kosten te drukken en prestaties te verbeteren. Samen met Broadcom gebouwd, speciaal voor grote taalmodellen. Lees hoe dit de AI-wereld kan veranderen.

OpenAI zit in een lastig parket. Aan de ene kant zijn ze de onbetwiste leider in AI, met honderden miljoenen gebruikers die dagelijks ChatGPT gebruiken. Aan de andere kant kost dat ze handen vol geld. De servers draaien namelijk op dure hardware van Nvidia, en die rekening loopt flink op. Daarom heeft OpenAI besloten om het roer om te gooien. Ze ontwikkelen nu hun eigen chip, de zogenaamde OpenAI JalapeƱo. Dit is geen gewone chip, maar een speciale processor die helemaal is ontworpen voor grote taalmodellen (LLM's). Samen met Broadcom hebben ze een ASIC (application-specific integrated circuit) gebouwd, een chip die precies doet wat OpenAI nodig heeft. ### Waarom eigen hardware? Het probleem is simpel: Nvidia heeft een gigantische winstmarge van ongeveer 75% op hun high-end processors. OpenAI houdt daarentegen maar zo'n 33 cent winst over per verdiende euro, nadat alle kosten zijn betaald. De kosten voor het draaien van grote taalmodellen op schaal zijn enorm. Vorig jaar kostte het draaiende houden van ChatGPT-servers OpenAI maar liefst €7,8 miljard. Met nu 900 miljoen wekelijkse gebruikers, wordt dat dit jaar naar verwachting ongeveer €13 miljard. En over de komende acht jaar heeft OpenAI maar liefst €1,3 biljoen toegezegd aan rekenkracht. Een enorme gok voor een bedrijf dat nu 'slechts' €23 miljard omzet per jaar draait. ### Een chip speciaal voor LLM's De JalapeƱo-chip is wat OpenAI noemt hun eerste 'Intelligence Processor'. Hij is specifiek gebouwd voor het uitvoeren van LLM's, niet voor algemene AI-taken. OpenAI heeft het ontwerp gemaakt op basis van hun eigen model-roadmaps, terwijl Broadcom de technische uitwerking deed en de netwerkconnectiviteit regelde. TSMC produceert de chips in Taiwan, en Celestica bouwt de boards en racksystemen. Volgens OpenAI draaien er al vroege lab-samples met geavanceerde workloads, waaronder een nog niet uitgebracht GPT-5.3-Codex-Spark-model, op de beoogde productiefrequentie en -stroom. Richard Ho, hoofd van OpenAI's hardwareprogramma, vertelt dat de architectuur dataverkeer minimaliseert om de prestaties dichter bij het theoretische maximum te brengen. In tegenstelling tot generieke accelerators, die vaak zijn aangepast van oudere AI-workloads, balanceert deze chip specifiek rekenkracht, geheugen en netwerkbronnen om de knelpunten in dataverkeer op te lossen die typisch zijn voor interactieve LLM-toepassingen. Om dit op schaal te bereiken, is Broadcom's Tomahawk-netwerksilicon direct in het ontwerp geĆÆntegreerd. Zo kunnen de chips communiceren over enorme, geclusterde datacenteromgevingen. ### De voordelen van verticale integratie Door over te stappen op eigen hardware, verandert OpenAI van een simpele softwarelaag in een verticaal geĆÆntegreerd infrastructuurbedrijf. Deze full-stack strategie beslaat de hele keten: chiparchitectuur, softwarekernels, geheugensystemen, netwerkscheduling en de uiteindelijke applicatielaag. Net zoals Apple's strakke koppeling tussen hardware en iOS, kan OpenAI nu zijn infrastructuur optimaliseren rondom zijn eigen interne model-roadmaps. Deze integratie creĆ«ert een continue operationele vliegwiel. Betere infrastructuur verlaagt de kosten voor zowel training als het uitvoeren van modellen. Goedkopere uitvoering leidt tot betere, responsievere producten, wat weer meer gebruikers en omzet oplevert. Die omzet wordt opnieuw geĆÆnvesteerd in de volgende generatie eigen infrastructuur. ### Een late start, maar niet te laat Toch komt OpenAI niet als eerste. Google begon al in 2015 met het uitrollen van zijn Tensor Processing Units (TPU's) en controleert nu ongeveer een kwart van de wereldwijde AI-rekenkracht buiten Nvidia's toeleveringsketen. Amazon heeft meer dan een miljoen eigen chips verscheept, terwijl Meta en Microsoft ook hun eigen infrastructuur blijven opschalen. Maar OpenAI ziet kansen. "JalapeƱo is onderdeel van onze lange-termijn full-stack infrastructuurstrategie om rekenkracht overvloediger te maken", zegt Greg Brockman, president en medeoprichter van OpenAI. "Door meer van de stack zelf te ontwerpen, kunnen we meer intelligentie leveren met minder middelen." Het wordt een spannende race. Wie wint: de gevestigde orde met jarenlange ervaring in hardware, of de nieuwkomer die zijn eigen regels schrijft?