OpenAI's rapport toont hoe codeagents rekentijden van wetenschappelijke software aanzienlijk verkorten. Ontdek de resultaten, de beperkingen en de rol van menselijke expertise.
OpenAI heeft een nieuw veldrapport gepubliceerd waarin acht wetenschappelijke computerprojecten worden gevolgd. De conclusie? Codeagents hebben de rekentijden aanzienlijk verkort. Klinkt veelbelovend, maar laten we eerst even een kanttekening plaatsen: dit is een leverancier die een onderzoek publiceert over de toepassing van zijn eigen product, gebaseerd op casestudy's die door de betrokken bijdragers zijn geschreven.
Dat maakt het onderliggende patroon echter niet minder interessant. Onderzoekssoftware heeft namelijk een bekend onderhoudsprobleem. Tools die ooit zijn gebouwd voor één enkele paper, gecodeerd door kleine academische teams zonder toegewijde technische ondersteuning, verzamelen technische schuld waar niemand het budget of de opdracht voor heeft om die af te lossen.
### Wat deden de agents precies?
De taken vielen grofweg in drie categorieën uiteen:
- **Verpakking en build-systeem opschonen**: het vervangen van verouderde systemen door modernere, uniforme processen.
- **Prestatie-optimalisatie**: het sneller maken van bestaande code zonder de output te wijzigen.
- **Volledige taal- of backend-port**: het migreren van code naar een andere programmeertaal of framework.
Een mooi voorbeeld is cyvcf2, een Python-bibliotheek voor het lezen van genomische variantbestanden. De legacy build- en verpakkingssysteem werd vervangen door een nieuwer, uniform proces. Bijdrager Brent Pedersen benadrukt daarbij iets belangrijks: 'Snel gaan met agents is één ding, maar ver komen in de wetenschap vereist nog steeds deskundige begeleiding, begrip, smaak en zorg.'
### Indrukwekkende resultaten, maar met een kanttekening
HI.SIM, een DNA-sequencing leessimulator, onderging twee grotendeels autonome optimalisatierondes met GPT-5.2 en GPT-5.6. Bijdrager Andrew Ho meldt dat dit de rekentijd met 31 procent verminderde over een representatieve testset, zonder de output te veranderen. Ho, die zichzelf omschrijft als noch een genomica-specialist noch een C-programmeur, noemt het resultaat 'ronduit magisch' vanuit gebruikersperspectief.
Hifiasm, gebruikt voor genoomassemblage uit PacBio HiFi-reads, kreeg een rekentijdvermindering van 25 procent op het optimalisatiedoel en ongeveer 15 procent op afzonderlijke humane sequencingdata. Bijdrager Suyash Shringarpure beschrijft hoe de agent zelf benchmark-infrastructuur opzette en zelfstandig kandidaten voorstelde. Toch benadrukt hij dat het aanleveren van profileringsresultaten en het sturen van het model weg van herhaalde faalpatronen nog steeds werk is dat alleen een mens kan doen.
### Van TensorFlow naar PyTorch: een broodnodige opknapbeurt
MHCflurry, dat eiwitfragmenten voorspelt die aan T-cellen worden gepresenteerd, onderging een migratie van TensorFlow/Keras naar PyTorch. Belangrijk detail: compatibiliteit met eerder uitgebrachte modelgewichten bleef behouden. Bijdragers Alex Rubinsteyn, Sergey Feldman en Timothy O'Donnell omschrijven dit als het soort 'onglamoureus, arbeidsintensief onderhoud' dat open-source wetenschappelijke projecten levend houdt in plaats van ze te laten verkommeren.
### De kracht van Rust en een GPU-herontwerp
bayesm-rs, een Rust-port van statistische modellen uit R's bayesm-pakket, evenaarde de schattingen van de originele software binnen een vooraf ingestelde tolerantie. Op een enkele processor-thread draaide het 2,3 tot 2,7 keer sneller, oplopend tot 4,4 tot 9,5 keer sneller over acht threads. Bijdragers Andrew Bai en Andrew Ho merken op dat de agents alles met een directe referentie snel en correct afhandelden. Uitbreidingen die statistisch inzicht vereisten dat de originele code nooit vastlegde, hadden echter directe menselijke validatie nodig.
Drie verdere projecten – rustar-aligner, svb en kuva – betroffen Rust-builds met codeagents, waaronder een volledige recreatie van STAR, een veelgebruikt RNA-sequentie-aligneringsinstrument dat geen actief onderhoud meer had. Bijdrager James M. Ferguson stelt dat agents veranderen wat de moeite waard is om te proberen: het met de hand herschrijven van een aligner van 20.000 regels is geen verstandige tijdsbesteding, maar met een agent wordt het weken van gestuurd werk. Verificatie, voegt hij toe, is een heel ander verhaal. Een model kan een suggestie doen, maar het is aan de mens om te bevestigen dat het resultaat klopt.
Kortom: codeagents kunnen een flinke impuls geven aan wetenschappelijke software, maar ze vervangen de menselijke expertise niet. Ze maken het wel mogelijk om grotere ambities te hebben.