Waarom OpenAI zijn eigen chip bouwt: de JalapeƱo

Ā·
Luister naar dit artikel~4 min
Waarom OpenAI zijn eigen chip bouwt: de JalapeƱo

Ontdek waarom OpenAI zijn eigen JalapeƱo-chip bouwt, wat de financiƫle impact is en hoe dit de toekomst van AI-infrastructuur verandert. Een diepgaande analyse van de strategie achter de nieuwe hardware.

De financiĆ«le realiteit van OpenAI is er een van enorme infrastructuurkosten. Die kosten dreven de ontwikkeling van de nieuwe, eigen OpenAI JalapeƱo-chip. In samenwerking met Broadcom ontwierp OpenAI een applicatiespecifiek geĆÆntegreerd circuit (ASIC). Dit is een directe poging om de zware kapitaaluitgaven aan hardware van derden te verminderen. ### Waarom een eigen chip? Nvidia heeft momenteel een geschatte winstmarge van 75% op zijn high-end processors. OpenAI werkt met veel krappere marges. Van elke verdiende euro houdt het bedrijf na aftrek van operationele kosten slechts ongeveer €0,30 over. De financiĆ«le last van het draaien van grote taalmodellen op schaal is enorm. Vorig jaar kostte het responsief houden van de ChatGPT-servers OpenAI maar liefst €7,7 miljard. Met nu 900 miljoen wekelijkse gebruikers worden de operationele kosten dit jaar geschat op €12,9 miljard. De komende acht jaar heeft OpenAI ongeveer €1,3 biljoen toegezegd aan rekenkracht. Een enorme gok voor een bedrijf dat nu €23 miljard aan jaarlijkse omzet genereert. ### Hardware specifiek voor LLM-inferentie De OpenAI JalapeƱo-chip, het eerste 'Intelligence Processor' van het bedrijf, is speciaal gebouwd voor inferentie van grote taalmodellen (LLM's), niet voor algemene AI-workloads. OpenAI leverde het kernontwerp op basis van zijn eigen modelroadmaps en serversystemen. Broadcom verzorgde de siliciumtechniek en de integratie van high-performance netwerken. TSMC produceert de chips fysiek in Taiwan. Celestica bouwt de bord- en racksystemen. Volgens OpenAI draaien vroege labmonsters al grensverleggende workloads, waaronder een onuitgebracht GPT-5.3-Codex-Spark-model, op de beoogde productiefrequentie en -vermogen. Richard Ho, hoofd van het hardwareprogramma bij OpenAI, merkte op dat de architectuur databewegingen minimaliseert. Dit brengt het gerealiseerde gebruik dichter bij de theoretische piekprestaties. In tegenstelling tot algemene versnellers die zijn aangepast aan legacy AI-workloads, balanceert deze architectuur specifiek reken-, geheugen- en netwerkbronnen. Het doel: de knelpunten in databewegingen oplossen die typisch zijn voor interactieve LLM-servers. Om dit op schaal te bereiken, integreert het platform Broadcoms Tomahawk-netwerksilicium direct in het ontwerp. Hierdoor kunnen de aangepaste processors communiceren in enorme, geclusterde datacenteromgevingen. ### De vliegwiel van verticale integratie Door over te stappen op eigen silicium verandert OpenAI van een pure softwarelaag in een verticaal geĆÆntegreerd infrastructuurbedrijf. Deze full-stackstrategie beslaat de hele pijplijn: chiparchitectuur, softwarekernels, geheugensystemen, netwerkplanning en de uiteindelijke applicatielaag. Net als Apple met zijn nauwe koppeling van eigen hardware en iOS, kan OpenAI nu zijn infrastructuur optimaliseren rond zijn exacte interne modelroadmaps. Deze integratie voedt een continu operationeel vliegwiel: - Verbeterde infrastructuurefficiĆ«ntie verlaagt de kosten van zowel training als het draaien van modellen. - Goedkopere servers leiden tot betere, responsievere producten. - Dit drijft het gebruikersaantal en de omzet op, die worden geherinvesteerd in de volgende generatie eigen infrastructuur. ### De late mover-uitdaging overwinnen Met de introductie van eigen silicium betreedt OpenAI een landschap waar concurrenten al bijna tien jaar eigen hardware ontwikkelen. Google begon in 2015 met de inzet van zijn Tensor Processing Units (TPU's) en controleert nu ongeveer een kwart van de wereldwijde AI-rekencapaciteit buiten Nvidia's toeleveringsketen. Amazon heeft meer dan een miljoen eigen chips verscheept, terwijl Meta en Microsoft hun eigen infrastructuur blijven opschalen. 'JalapeƱo is onderdeel van onze langetermijn-full-stackinfrastructuurstrategie om rekenkracht overvloediger te maken', aldus Greg Brockman, president en medeoprichter van OpenAI. 'Door meer van de stack zelf te ontwerpen, kunnen we meer intelligentie leveren met minder middelen.' De chip belooft een nieuwe standaard te zetten in efficiĆ«ntie voor AI-workloads. Maar het is nog maar de vraag of OpenAI de achterstand op gevestigde spelers kan inhalen. EĆ©n ding is zeker: de concurrentie in AI-hardware wordt steeds intenser, en de inzet is nog nooit zo hoog geweest.