OpenAI's JalapeƱo-chip: de wiskunde achter de strategie

Ā·
Luister naar dit artikel~4 min
OpenAI's JalapeƱo-chip: de wiskunde achter de strategie

Ontdek hoe OpenAI's eigen JalapeƱo-chip de hoge infrastructuurkosten aanpakt. Leer over de strategie achter deze speciale processor voor grote taalmodellen en de impact op de AI-markt.

OpenAI's financiĆ«le toekomst hangt sterk af van infrastructuurkosten. Dat besef leidde tot de ontwikkeling van de eigen OpenAI JalapeƱo-chip, een speciale processor die samen met Broadcom is ontworpen. Het is een directe poging om de zware investeringen in hardware van derden te verminderen. Terwijl Nvidia naar schatting 75% winstmarge heeft op zijn high-end processors, moet OpenAI het met minder doen. Het bedrijf houdt ongeveer €0,30 winst over van elke verdiende euro, nadat alle operationele kosten zijn betaald. De financiĆ«le last van het draaien van grote taalmodellen op schaal is enorm. ### De kosten van ChatGPT Vorig jaar kostte het responsief houden van ChatGPT-servers OpenAI maar liefst €7,7 miljard. Nu het platform wekelijks 900 miljoen gebruikers trekt, stijgen die operationele kosten dit jaar naar naar schatting €12,9 miljard. En het wordt nog indrukwekkender: over de komende acht jaar heeft OpenAI ongeveer €1,29 biljoen toegezegd aan rekenkracht. Een enorme gok voor een bedrijf dat nu €23 miljard aan jaarlijkse omzet genereert. ### Hardware speciaal voor LLM-inferentie De JalapeƱo-chip, door OpenAI hun eerste 'Intelligentieprocessor' genoemd, is speciaal gebouwd voor het uitvoeren van grote taalmodellen (LLM's), niet voor algemene AI-werkzaamheden. OpenAI leverde het kernontwerp op basis van zijn eigen modelroadmaps en servesystemen. Broadcom zorgde voor de siliciumtechniek en de integratie van snelle netwerken. - TSMC produceert de chips in Taiwan. - Celestica bouwt de bord- en racksystemen. - Vroege labmonsters draaien al geavanceerde workloads, waaronder een nog niet uitgebracht GPT-5.3-Codex-Spark-model, op de beoogde productiefrequentie en vermogen. Richard Ho, hoofd van OpenAI's hardwareprogramma, legt uit dat de architectuur de gegevensoverdracht minimaliseert om het daadwerkelijke gebruik dichter bij de theoretische piekprestaties te brengen. In tegenstelling tot algemene versnellers, die zijn aangepast van oudere AI-workloads, balanseert deze chip specifiek rekenkracht, geheugen en netwerkbronnen om de knelpunten in gegevensverplaatsing op te lossen die typisch zijn voor interactieve LLM-diensten. Om dit op grote schaal te bereiken, is Broadcom's Tomahawk-netwerksilicium direct in het ontwerp geĆÆntegreerd, zodat de processors kunnen communiceren in enorme, geclusterde datacenteromgevingen. ### De vliegwiel van verticale integratie Door over te stappen op eigen silicium verandert OpenAI van een simpele softwarelaag in een verticaal geĆÆntegreerd infrastructuurbedrijf. Deze full-stackstrategie omvat de hele pijplijn: chiparchitectuur, softwarekernels, geheugensystemen, netwerkscheduling en de uiteindelijke applicatielaag. Net zoals Apple's nauwe koppeling van eigen hardware en iOS, kan OpenAI nu zijn infrastructuur optimaliseren rond zijn exacte interne modelroadmaps. Deze integratie voedt een continu operationeel vliegwiel. Betere infrastructurefficiĆ«ntie verlaagt de kosten van zowel training als het draaien van modellen. Goedkopere diensten leiden tot betere, responsievere producten, wat het gebruikersaantal en de omzet verhoogt, die vervolgens worden geherinvesteerd in de volgende generatie eigen infrastructuur. ### De late start inhalen Met de introductie van zijn eigen silicium betreedt OpenAI een landschap waar zijn belangrijkste concurrenten bijna een decennium ervaring hebben met het ontwikkelen van eigen hardware. Google begon in 2015 met het inzetten van zijn Tensor Processing Units (TPU's) en controleert nu ongeveer een kwart van de wereldwijde AI-rekencapaciteit buiten Nvidia's toeleveringsketen. Amazon heeft meer dan een miljoen van zijn eigen chips verscheept, terwijl Meta en Microsoft hun eigen infrastructuur blijven opschalen. "JalapeƱo is onderdeel van onze langetermijn-full-stackinfrastructuurstrategie om rekenkracht overvloediger te maken," zegt Greg Brockman, president en medeoprichter van OpenAI. "Door meer van de stack zelf te ontwerpen, kunnen we meer intelligentie leveren met minder middelen."