Het gaat om een foundation model, een model dat dient als basis voor andere toepassingen. Door het te trainen met een kwartmiljoen CT-scans – soms met bijbehorende radiologierapporten – leert het patronen herkennen in die beelden. “Het heeft nog geen idee waar het naar kijkt”, legt maker van het model Fons van der Sommen uit. Het herkent niet dat iets een orgaan of afwijkend weefsel is, maar wel dat op die plek van het beeld iets bij elkaar hoort. “Je moet het model zien als een stamcel. Het kan van alles worden, maar op zichzelf is het eigenlijk nog niks”, aldus Van der Sommen.

SPIKE-1

De universiteit heeft een life cycle management (LCM)-contract voor de supercomputer afgesloten met NVIDIA, een Amerikaanse producent van computerhardware. Dit houdt in dat de computer niet in een aantal jaar wordt afgeschreven, maar elke twee jaar wordt vernieuwd, zodat hij altijd de nieuwste technologie gebruikt. SPIKE-1 staat niet fysiek op de campus, maar in een datacentrum in Kajaani in Finland. Onderzoekers kunnen vanuit Nederland rechtstreeks op afstand met de computer werken. De TU/e is een van de eerste partijen die gebruik maakt van dit systeem van NVIDIA. 

Vooral belangrijk aan SPIKE-1 is volgens Van der Sommen dat alle GPU’s aan elkaar gekoppeld zijn, waardoor ze samen kunnen werken. Het maakt dat het AI-model grote batches aan data tegelijk kan verwerken. “Hoe groter de batches, hoe beter het resultaat van het model is”, legt hij uit. “Als je te kleine brokken aan informatie tegelijk aan de computer geeft, dan gaat het leren chaotisch en lukt het minder goed. Zonder deze supercomputer hadden we dit model nooit zo kunnen maken, omdat hij niet efficiënt genoeg had geleerd en te weinig data tegelijk had kunnen ‘zien’.” 

Voor de ontwikkeling van het model gebruikten de onderzoekers de methode self supervised learning. “Je labelt daarbij niet voor elk beeld of het bijvoorbeeld wel of geen kanker betreft, zoals gebruikelijk is. In plaats daarvan leert het systeem vanzelf hoe een CT-scan er typisch uitziet, door alle beelden met elkaar te vergelijken”, aldus Van der Sommen. 

Hypermodern

Het lijkt misschien simpel: je neemt een krachtige computer, gooit er een grote verzameling data in en wacht tot er iets uitrolt. De realiteit is echter anders. SPIKE-1 is een hypermoderne computer. Zo nieuw zelfs, dat niet voor alle mogelijkheden al software bestaat, vertelt Claessens. “Bij deze computer is het mogelijk om data rechtstreeks in je grafische processors te laden in plaats van eerst naar de CPU (de centrale rekenkern, red.). NVIDIA-engineers weten dat het hardware-technisch kan, maar er is nog geen software voor om het daadwerkelijk toe te passen. Dat soort dingen laten ze vaak aan de community over om te ontwikkelen.” 

Een andere uitdaging zat hem niet zozeer in de nieuwigheid van de supercomputer, maar in het feit dat CT-scans driedimensionaal zijn. Modellen worden normaal gesproken getraind met tweedimensionale beelden, legt Claessens uit. Maar die methodes bestonden nog niet voor 3D-beelden. 

“Je kunt 3D-data niet zomaar in een 2D-model stoppen, dat past gewoon niet. Je moet vooral veel slimme oplossingen vinden om niet het geheugen van de computer te laten ontploffen. Dat kan zelfs bij een supercomputer gebeuren. We hebben het model zo ontworpen dat het eerst naar kleine 3D-blokjes kijkt en daarna verbanden legt over het gehele volume heen.”

Voor de mensheid

En dan moet je nog 250.000 CT-scans weten te verzamelen. Van der Sommen: “We gebruiken daarvoor publieke datasets die beschikbaar zijn. Sommigen komen voort uit challenges, waarbij onderzoekers allemaal een model ontwikkelen voor een vrijgegeven dataset.” Zonder al die publieke data had het foundation model niet genoeg materiaal gehad om van te leren.