OpenAI's JalapeƱo-chip: de wiskunde achter de AI-kosten
Sophie Jansen Ā·
Luister naar dit artikel~3 min
Ontdek de wiskunde achter OpenAI's JalapeƱo-chip: een speciale AI-chip die infrastructuurkosten moet verlagen. Van Nvidia's winstmarges tot OpenAI's eigen hardwarestrategie.
OpenAI zit in een financiƫle uitdaging: infrastructuurkosten zijn torenhoog. Daarom ontwikkelde het bedrijf samen met Broadcom de nieuwe OpenAI JalapeƱo-chip. Dit is een speciale chip (ASIC) die direct bedoeld is om minder afhankelijk te zijn van dure hardware van derden.
Terwijl Nvidia naar schatting 75% winstmarge pakt op zijn high-end processors, houdt OpenAI maar ongeveer 33 cent winst over per euro. De operationele kosten zijn enorm. Vorig jaar kostte het draaiend houden van ChatGPT-servers al ā¬7,8 miljard. Met 900 miljoen wekelijkse gebruikers loopt dit dit jaar op naar zo'n ā¬13 miljard. De komende acht jaar heeft OpenAI ongeveer ā¬1,3 biljoen gereserveerd voor rekenkracht ā een gigantische gok voor een bedrijf dat nu jaarlijks ā¬23,2 miljard omzet.
### Speciaal ontworpen voor LLM-inferentie
De JalapeƱo-chip, door OpenAI de eerste 'Intelligence Processor' genoemd, is niet gemaakt voor algemene AI-taken. Hij is specifiek ontworpen voor grote taalmodellen (LLM's) zoals ChatGPT. OpenAI leverde het kernontwerp op basis van zijn eigen modellen, terwijl Broadcom de engineering en netwerkintegratie deed. TSMC produceert de chips in Taiwan, en Celestica bouwt de boards en racksystemen. Volgens OpenAI draaien er al vroege lab-samples met een onuitgebracht GPT-5.3-Codex-Spark-model op de beoogde snelheid en stroom.
Richard Ho, hoofd hardware bij OpenAI, legt uit dat het ontwerp de databeweging minimaliseert om de prestaties dichter bij het theoretische maximum te brengen. In tegenstelling tot generieke versnellers lost deze chip specifiek de knelpunten op die ontstaan bij interactieve LLM-gesprekken. Om dit op grote schaal te kunnen, is Broadcoms Tomahawk-netwerksilicon direct in het ontwerp geĆÆntegreerd. Zo kunnen de processors communiceren in enorme datacenters.

### Het verticale integratievliegwiel
Door eigen chips te maken, verandert OpenAI van softwarebedrijf in een verticaal geĆÆntegreerd infrastructuurbedrijf. Dit full-stack concept omvat de hele keten: chipontwerp, software, geheugensystemen, netwerkplanning en de uiteindelijke app. Net zoals Apple zijn hardware en iOS strak koppelt, kan OpenAI nu zijn infrastructuur optimaliseren voor zijn eigen modellen.
Dit zorgt voor een continu vliegwieleffect: betere infrastructuur verlaagt de kosten van training en gebruik van modellen. Goedkopere diensten leiden tot betere producten, wat meer gebruikers trekt en meer omzet oplevert om te investeren in de volgende generatie infrastructuur.
### De late mover uitdaging
OpenAI betreedt een markt waar concurrenten al jaren eigen hardware ontwikkelen. Google begon in 2015 met Tensor Processing Units (TPU's) en beheerst nu ongeveer een kwart van de wereldwijde AI-rekencapaciteit buiten Nvidia. Amazon heeft meer dan een miljoen eigen chips verscheept, en Meta en Microsoft schalen ook hun infrastructuur op.
Greg Brockman, president en medeoprichter van OpenAI, zegt: "JalapeƱo is onderdeel van onze lange-termijnstrategie om rekenkracht overvloediger te maken. Door meer van de stack zelf te ontwerpen, kunnen we meer intelligentie leveren met minder middelen."