PRISM2: hoe AI pathologieverslagen leest en diagnoses stelt

Sophie Jansen · 2026-08-05

Stel je voor: een AI-systeem dat naar een pathologie-objectglaasje kijkt en niet alleen pixels classificeert, maar daadwerkelijk antwoord geeft op diagnostische vragen. Dat is precies wat PRISM2 doet, een model ontwikkeld door Paige en Microsoft. Het combineert beeldherkenning met klinische dialoog uit pathologieverslagen, en de resultaten zijn indrukwekkend. In dit artikel duiken we in de architectuur, de trainingsdata en de prestaties van PRISM2. We leggen uit waarom dit model anders is dan eerdere foundation-modellen en wat dit betekent voor de toekomst van pathologie en AI. ### Wat maakt PRISM2 uniek? Traditionele AI-modellen voor pathologie classificeren beelden simpelweg op basis van patronen. PRISM2 gaat een stap verder: het leest de hele objectglaasje-afbeelding door duizenden tile-embeddings te aggregeren tot één representatie. Vervolgens genereert het tekst die antwoord geeft op diagnostische vragen, in plaats van alleen pixels te labelen. De trainingsdata zijn enorm: maar liefst 2,3 miljoen whole-slide images. De dialoog-supervisie komt van 685.507 pathologieverslagen die Memorial Sloan Kettering Cancer Center verzamelde tijdens reguliere zorg. Deze verslagen werden door GPT-4o omgezet naar vraag-en-antwoordparen. Dat betekent dat het model niet alleen leert wat er op het glaasje staat, maar ook hóe pathologen daarover rapporteren. ### De architectuur in twee fasen PRISM2 werkt in twee duidelijk gescheiden fasen. In fase één traint het model de slide-encoder zelf. Deze encoder leert tile-level features te aggregeren tot één slide-level vector die correleert met de taal in verslagen. Fase twee bevriest die encoder volledig en richt zich op het taalmodel. Dit model wordt verfijnd op dialoog, zodat het de conventies van pathologieverslaglegging leert. Een belangrijk detail: er wordt alleen gebruikgemaakt van single-turn dialoog. Er komt geen multi-turn gespreksgeschiedenis in het trainingssignaal. Dat beperkt de interactieve mogelijkheden van het systeem, tenzij er verdere technische aanpassingen worden gedaan. ### Twee loss-functies, één encoder In het hart van fase één zit een perceiver-gebaseerde slide-encoder die Virchow2 tile-embeddings aggregeert. Twee loss-functies trainen deze encoder tegelijkertijd: - **Contrastief doel**: BioGPT tekst-embeddings trekken slide-representaties naar bijpassende verslagtaal en duwen ze weg van niet-overeenkomende paren. - **Autoregressief doel**: Phi-3 Mini dwingt de encoder-output om directe tekstgeneratie te ondersteunen, niet alleen gelijkenisberekening. Waarom twee loss-functies? Contrastief trainen alleen levert embeddings op die goed zijn in retrieval maar zwak in generatie. Autoregressief trainen alleen kan overfitten op oppervlakkige tekstpatronen zonder overdraagbare visuele kenmerken te leren. Door beide tegelijk op dezelfde encoder-output toe te passen, maakt PRISM2 een architecturale gok die lijkt te werken. ### Twee embeddings, verschillende doelen PRISM2 biedt twee aparte embeddings in plaats van één. De base-embedding komt rechtstreeks uit de slide-encoder en is geschikt voor biomarker-voorspellingstaken. De diagnostische embedding komt uit de hidden state van het 4-miljard-parameter taalmodel, maar alleen nadat dat model zowel de slide-latents als de prompt-tekst samen heeft verwerkt. Dat onderscheid bepaalt waar elke embedding het beste presteert. De diagnostische embedding is specifiek getraind voor kankerherkenning en subtypering. De auteurs raden de base-embedding aan voor alles buiten die diagnosegerichte verdeling. Voor overlevingstaken is er nog een derde, apart verfijnde embedding. ### Prestaties en benchmarks PRISM2 evenaart of overtreft de gebalanceerde nauwkeurigheid van klinische producten die zijn gekalibreerd voor prostaat- en borstkankerherkenning. Dat is getest op de eigen evaluatiedatasets van die producten. Ook bij borstlymfeklierclassificatie presteert PRISM2 beter dan Paige BLN, zonder extra training op die specifieke taak. Eerdere foundation-modellen blijven achter bij contrastieve classificatie. Zowel PRISM als TITAN halen het productniveau niet, en het verschil wordt groter bij borstlymfekliertests. ### Pan-cancer detectie en zeldzame kankers Bij pan-cancer detectie bereikten de diagnostische embeddings een AUC van 0,967, tegenover 0,956 voor de base-embedding. PRISM scoorde 0,947 in die vergelijking, terwijl TITAN bleef steken op 0,931. Bij zeldzame kankers daalde de score van de diagnostische embedding van 0,967 naar 0,957 AUC. De onderzoekers wijten dat aan schaarse trainingsvoorbeelden voor die weefseltypen. Lineair testen geeft een schoner beeld van de representatiekwaliteit dan end-to-end fine-tuning, omdat de encoder vast blijft staan en alleen de output wordt getest. ### Wat betekent dit voor de praktijk? PRISM2 laat zien dat AI in pathologie verder kan gaan dan alleen beeldclassificatie. Door beeld en taal te combineren, ontstaat een systeem dat niet alleen herkent, maar ook begrijpt. Voor pathologen betekent dit potentieel snellere en consistentere diagnoses, vooral bij complexe gevallen. De combinatie van contrastief en autoregressief trainen is een veelbelovende aanpak die ook buiten de pathologie toepasbaar kan zijn. Het laat zien dat de volgende generatie AI-modellen niet alleen beter wordt in patroonherkenning, maar ook in het communiceren over wat het ziet.