Waarom de GLM-5.3-benchmark van Zhipu minder indrukwekkend is dan het lijkt

Sophie Jansen · 2026-08-18

Zhipu's release notes voor GLM-5.3 bevatten een zin die de meeste berichtgeving niet haalde. Bij het beschrijven van de eigen cybersecurityresultaten schrijft het bedrijf uit Beijing dat de capaciteit "het snelst groeit precies daar waar we het verst achterlopen." Dat is een opvallende bekentenis. Zhipu, dat ook handelt onder de naam Z.ai, is een van de weinige Chinese labs die modellen uitbrengt die concurreren met de Amerikaanse topmodellen. Op 14 augustus lanceerde het GLM-5.3, een model dat zich richt op coderen, en publiceerde het een technische release note met daarin hoe het model presteert tegenover de concurrentie. ### De kop die de wereld rondging Het nieuws dat de wereld haalde, ging over beveiliging. Naast de coderesultaten meldde Zhipu dat GLM-5.3 onverwacht goed was geworden in het vinden van softwarekwetsbaarheden. Het scoorde 84,5% op een benchmark genaamd CyberGym, tegenover 83,8% voor Anthropic's Mythos 5 en 83,6% voor OpenAI's GPT-5.6 Sol. De koppen volgden: een Chinees model dat Amerikaanse modellen verslaat in het vinden van bugs. Waarom dit harder aankomt dan een gewoon benchmarkresultaat? Omdat kwetsbaarheidsdetectie inmiddels een heel andere rol speelt. Een model dat een codebase kan lezen en exploiteerbare fouten kan vinden, is nuttig voor een verdediger die eigen software controleert. Maar hetzelfde model is net zo bruikbaar voor iemand die precies hetzelfde doet bij andermans software. Anthropic houdt daarom zijn equivalente werk achter beperkte toegang. Zhipu daarentegen is van plan om de gewichten van GLM-5.3 vrij te geven voor iedereen om te downloaden. ### Drie benchmarks, drie verschillende beelden Zhipu's eigen release is genuanceerder dan de berichtgeving die eruit voortkwam. Het CyberGym-getal is echt en staat in het paper. Maar het is ook de smalste van de drie cybersecurityresultaten die het bedrijf publiceerde. En Zhipu is er eerlijk over dat de andere twee de andere kant op wijzen. CyberGym start vanuit broncode die het model kan lezen en test of het een kwetsbaarheid kan vinden én bevestigen dat de fout echt is. Dat is het resultaat dat de wereld rondging, met een marge van zeven tiende procentpunt. ExploitBench vraagt iets moeilijkers. Het model moet redeneren over een echte kwetsbaarheid en hoe die misbruikt zou kunnen worden. GLM-5.3 scoort hier 54,4%, meer dan het dubbele van zijn voorganger (24,4%). Maar Mythos 5 scoort 78,0% en GPT-5.6 Sol 76,5%. ExploitGym telt hoeveel exploitatietaken een model afrondt binnen een vast tijdsbudget. GLM-5.3 voltooit 105 taken in twee uur en 130 in zes uur. Mythos 5 voltooit respectievelijk 181 en 247 taken. Die twee resultaten zijn dunnetjes gerapporteerd, terwijl juist zij de kloof beschrijven. Een fout vinden en een werkende exploit daarvan bouwen, zijn twee verschillende banen. Zhipu's eigen lezing: hoe verder een test in die keten zit, hoe verder het model achterloopt. En dat zegt het bedrijf dus zelf in de release, in plaats van het aan de lezer over te laten. ### Welk Anthropic-model, en waarom blijft dat veranderen? Een deel van de verwarring in de berichtgeving komt doordat Zhipu drie verschillende Anthropic-modellen gebruikt op drie verschillende plaatsen. De hoofdtabellen zetten GLM-5.3 tegenover Opus 4.8. De prestatiediagrammen gebruiken Fable 5. En in de cybersecuritysectie gaat het om Mythos 5. Wie snel leest, komt weg met één vergelijking die eigenlijk niet bestaat. Wat betreft coderen is het beeld gemengd, niet dominant. GLM-5.3 leidt op sommige tests ten opzichte van Opus 4.8 en blijft op andere achter. Daarnaast stelt Zhipu zelf duidelijk dat het model nog steeds achterloopt op Claude Fable 5, volgens het eigen interne coderingsbenchmark van het bedrijf. ### Hoe de tests werden uitgevoerd De methodologie in de voetnoten bevat iets dat de samenvattingen oversloegen. Zhipu evalueerde GLM-5.3 op CyberGym, ExploitGym, ExploitBench, Terminal Bench en diverse andere taken binnen Claude Code 2.1.207, de coderingsagent van Anthropic. Dat is niet onjuist. Een gemeenschappelijke testomgeving gebruiken is juist hoe een vergelijking eerlijk blijft. Het zegt alleen wel iets over de context waarin de resultaten zijn behaald. Je meet dan namelijk niet alleen het model, maar ook de kwaliteit van de harness waarin het draait. ### Wat betekent dit nu echt? De kern is dat Zhipu een opvallend eerlijk verhaal vertelt. Het bedrijf claimt geen algehele overwinning, maar presenteert een genuanceerd beeld waarin het op één onderdeel voorloopt en op twee andere duidelijk achterblijft. Dat is zeldzaam in de wereld van AI-benchmarks, waar marketing vaak de overhand krijgt. Voor wie GLM-5.3 wil gebruiken, is de boodschap duidelijk: het model is sterk in het vinden van kwetsbaarheden, maar het omzetten van die vondsten naar daadwerkelijke exploits blijft een zwakker punt. Voor wie de berichtgeving volgde, is het vooral een les in het lezen van benchmarks: het headline-getal is zelden het hele verhaal.