OpenAI JalapeƱo chip: de wiskunde achter de nieuwe AI-processor

Ā·
Luister naar dit artikel~5 min
OpenAI JalapeƱo chip: de wiskunde achter de nieuwe AI-processor

OpenAI ontwikkelt de eigen JalapeƱo-chip om afhankelijkheid van Nvidia te verminderen en kosten te verlagen. Deze ASIC, gemaakt met Broadcom, is specifiek voor LLM-inferentie en moet de efficiƫntie drastisch verbeteren.

De financiĆ«le koers van OpenAI hangt sterk af van infrastructuurkosten. Dat besef leidde tot de ontwikkeling van de nieuwe, eigen OpenAI JalapeƱo-chip. Deze chip, ontwikkeld in samenwerking met Broadcom, is een application-specific integrated circuit (ASIC). Het doel: de zware kapitaaluitgaven voor hardware van derden verminderen. Nvidia heeft momenteel een geschatte winstmarge van 75% op zijn high-end processors. OpenAI werkt met veel kleinere marges. Het bedrijf houdt ongeveer €0,30 winst over per euro aan inkomsten, na aftrek van de enorme operationele kosten. De financiĆ«le last van het draaien van grote taalmodellen op schaal is enorm. Vorig jaar kostte het responsief houden van ChatGPT-servers OpenAI maar liefst €7,7 miljard. Met nu 900 miljoen wekelijkse gebruikers, stijgen die operationele kosten dit jaar naar naar schatting €12,9 miljard. De komende acht jaar heeft OpenAI ongeveer €1,28 biljoen toegezegd aan rekenkracht. Een enorme gok voor een bedrijf dat nu €23 miljard aan jaarlijkse omzet genereert. ### Hardware ontwerpen voor LLM-inferentie De OpenAI JalapeƱo-chip, door het bedrijf de eerste 'Intelligence Processor' genoemd, is specifiek gebouwd voor large language model (LLM) inferentie. Niet voor algemene AI-workloads. OpenAI leverde het kernontwerp op basis van zijn eigen model-roadmaps en serversystemen. Broadcom verzorgde de silicium-engineering en de integratie van high-performance netwerken. TSMC produceert de chips fysiek in Taiwan. Celestica bouwt de board- en racksystemen. Volgens OpenAI draaien vroege labmonsters al geavanceerde workloads, waaronder een nog niet uitgebracht GPT-5.3-Codex-Spark-model, op de beoogde productiefrequentie en -vermogen. Richard Ho, hoofd van het hardwareprogramma bij OpenAI, zegt dat de architectuur databewegingen minimaliseert. Het doel is om het gerealiseerde gebruik dichter bij de theoretische piekprestatie te brengen. In tegenstelling tot algemene versnellers die zijn aangepast aan legacy AI-workloads, balanceert deze architectuur specifiek reken-, geheugen- en netwerkbronnen. Zo lost het de databewegingsknelpunten op die typisch zijn voor interactieve LLM-dienstverlening. Om dit op schaal te bereiken, integreert het platform Broadcom's Tomahawk-netwerksilicium direct in het ontwerp. Hierdoor kunnen de eigen processors communiceren in enorme, geclusterde datacenteromgevingen. ### De vliegwiel van verticale integratie Door over te stappen op eigen silicium, verandert OpenAI van een pure softwarelaag in een verticaal geĆÆntegreerd infrastructuurbedrijf. Deze full-stack strategie bestrijkt de hele pijplijn: chiparchitectuur, softwarekernels, geheugensystemen, netwerkplanning en de uiteindelijke applicatielaag. Net als Apple's nauwe koppeling van eigen hardware en iOS, kan OpenAI nu zijn infrastructuur optimaliseren rond zijn exacte interne model-roadmaps. Deze integratie voedt een continu operationeel vliegwiel. Verbeterde infrastructuurefficiĆ«ntie verlaagt de kosten van zowel training als het draaien van modellen. Goedkopere dienstverlening leidt tot betere, responsievere producten. Dat drijft het gebruikersvolume en de omzet, die opnieuw worden geĆÆnvesteerd in de volgende generatie eigen infrastructuur. ### De late-mover voorsprong overwinnen Door zijn eigen silicium te introduceren, betreedt OpenAI een landschap waarin zijn belangrijkste concurrenten bijna tien jaar ervaring hebben met het ontwikkelen van eigen hardware. Google begon in 2015 met het uitrollen van zijn Tensor Processing Units (TPU's) en beheerst nu ongeveer een kwart van de wereldwijde AI-rekencapaciteit buiten de toeleveringsketen van Nvidia. Amazon heeft meer dan een miljoen eigen chips verzonden. Meta en Microsoft blijven hun eigen infrastructuur opschalen. > "JalapeƱo is onderdeel van onze langetermijn full-stack infrastructuurstrategie om rekenkracht overvloediger te maken," zegt Greg Brockman, president en medeoprichter van OpenAI. "Door meer van de stack zelf te ontwerpen, kunnen we meer intelligentie leveren met minder middelen." ### Wat dit betekent voor de AI-markt Deze stap van OpenAI is een duidelijk signaal. Het bedrijf wil niet langer afhankelijk zijn van Nvidia's dure hardware. Door eigen chips te ontwikkelen, kan OpenAI zijn kostenstructuur verbeteren en tegelijkertijd zijn prestaties optimaliseren. Dit kan leiden tot snellere en goedkopere AI-diensten voor gebruikers. De concurrentie in de AI-chipmarkt wordt steeds heviger. Terwijl OpenAI zijn JalapeƱo-chip lanceert, blijven andere spelers zoals Google en Amazon hun eigen hardware verbeteren. De komende jaren zullen we zien wie de beste balans vindt tussen prestaties, kosten en schaalbaarheid. Voor professionals in AI en media is dit een belangrijke ontwikkeling. Het laat zien dat de infrastructuur achter AI net zo cruciaal is als de algoritmes zelf. Wie de hardware beheerst, heeft een voorsprong in de race om de beste AI-modellen.