- Onderzoek
- 25/11/2025
Sluitstuk | ChatGPT weet veel, maar heeft het echte kennis?
Als je ChatGPT vraagt wat de hoofdstad van Frankrijk is, is het antwoord ‘Parijs’. Maar betekent dat dat de AI-chatbot over kennis beschikt, en zo ja: wat voor kennis is dat precies? TU/e-onderzoeker Céline Budding legt in haar proefschrift een theoretisch kader neer, waarmee we kunnen onderzoeken wat grote taalmodellen precies leren op basis van de enorme hoeveelheid data waarmee ze getraind worden.
Budding had aanvankelijk geen plannen voor een promotietraject. “Ik had een technische master gedaan en alleen maar geprogrammeerd – daarna was ik er wel klaar mee”, vertelt ze. Tot ze op dit project stuitte. In plaats van nóg een model te bouwen, richt het onderzoek zich op het begrijpen en verklaren van wat bestaande modellen doen. Minder rekenen, meer reflectie, en met duidelijke raakvlakken met filosofie. Want hoe leg je uit wat een taalmodel eigenlijk leert?
Large Language Models
Grote taalmodellen of Large Language Models (LLM’s) zijn computerprogramma’s die getraind zijn om taal te verwerken en te produceren. Ze kunnen bijvoorbeeld teksten schrijven, vragen beantwoorden of samenvattingen maken. Het bekendste voorbeeld is ChatGPT. Wat ze in feite doen, is patronen in taal herkennen: door te zien welke woorden vaak samen voorkomen en hoe zinnen meestal opgebouwd zijn, leren ze welke woorden waarschijnlijk volgen.
Het leerproces bestaat uit het verwerken van enorme hoeveelheden tekst, bijvoorbeeld uit boeken, artikelen en websites. Het model probeert steeds te voorspellen welk woord het beste past na een reeks woorden, en door dat miljoenen keren te herhalen, wordt het steeds beter in het herkennen van taalpatronen. Soms worden LLM’s daarna nog extra getraind voor specifieke taken, zoals vertalen of samenvatten.
Impliciete kennis
“Deze modellen kunnen zoveel dat mensen soms denken dat ze kennis – of zelfs intelligentie – hebben. Maar is dat wel zo? En als we zeggen dat ze kennis hebben, wat bedoelen we daarmee dan precies?” zegt ze. Budding onderzocht welke rol kennis speelt in menselijk taalgedrag en dook daarvoor in de filosofische literatuur. Zo kwam ze uit bij het concept tacit knowledge: impliciete kennis die we bezitten maar moeilijk kunnen overdragen. Mensen hebben bijvoorbeeld grammaticale kennis nodig om een taal te spreken, maar passen die onbewust toe en kunnen zelden uitleggen hoe dat precies werkt.
Taalmodellen hebben in ieder geval geen expliciete regels of feiten meegekregen; alles wat ze “weten” komt voort uit de patronen in hun trainingsdata. De vraag is dus: wat hebben ze precies geleerd? En beschikken taalmodellen misschien ook over dit soort impliciete kennis? Als je bijvoorbeeld aan ChatGPT vraagt wat de hoofdstad van Frankrijk is, zal het model het antwoord ‘Parijs’ geven. Maar is dat omdat het begrijpt dat Parijs in Frankrijk ligt en dat beide concepten met elkaar verbonden zijn? Of reproduceert het simpelweg een vaak voorkomend vraag-antwoordpatroon?
Papegaaien
De vraag of AI-modellen écht iets begrijpen of slechts patronen herhalen, bestaat al lang. Sommige wetenschappers noemen AI-taalmodellen stochastic parrots: papegaaien die alles nadoen zonder het echt te begrijpen. Anderen schrijven de modellen eigenschappen toe als ‘slim’ of ‘intelligent’. Zelf pleit ze ervoor om niet met de hype mee te gaan, maar juist goed te bekijken wat de modellen precies doen. “We moeten dat eerst bestuderen en goed onderbouwen, zonder er meteen een label op te plakken”, zegt ze.
Dat is geen gemakkelijke opgave: zo’n model heeft miljoenen parameters, en de eerste vraag is daarom waar je überhaupt naar op zoek bent als je over kennis spreekt. “Daar doe ik in mijn proefschrift een voorstel voor”, aldus Budding. Ze presenteert een theoretisch raamwerk dat duidelijke voorwaarden stelt voor impliciete kennis. Als een taalmodel aan al deze voorwaarden voldoet, kunnen we dus zeggen dat het tacit knowledge heeft.
Volgens haar moeten we vooral kijken of modellen verbanden leggen tussen data, net zoals mensen. “Zo kunnen we bepalen of een model echt iets weet over Parijs, of dat het elke vraag over Parijs afzonderlijk behandelt en alleen het juiste antwoord voorspelt.”
Interventies
Om te onderzoeken of een model echt kennis bezit, moet je volgens Budding op zoek gaan naar interne representaties van bijvoorbeeld het woord ‘Parijs’ of een grammaticale regel in het model zelf. In haar thesis stelt ze voor om dat te doen aan de hand van interventies. Het idee is om een model op een gecontroleerde manier te veranderen en vervolgens te kijken wat er met de voorspellingen gebeurt.
Budding geeft een voorbeeld: als het model voorspelt dat Parijs de hoofdstad van Frankrijk is, kun je het model zo aanpassen dat het voortaan voorspelt dat Parijs in Italië ligt. “De vraag is dan: voert het model die nieuwe kennis ook door naar andere vragen? Als je naar het Louvre of de Eiffeltoren vraagt, beschouwt het die locaties dan ook als Italiaans? Als het model deze verbanden kan leggen, zou je kunnen zeggen dat het een vorm van kennis bezit.”
Startpunt
Maar daarmee ben je er nog niet. Hoe geef je een interventie zodanig vorm dat je zeker weet dat het verband causaal is – dus dat het echt door jouw aanpassing komt? Ook deze voorwaarden behandelt Budding in haar proefschrift. “Al zou je daar een heel proefschrift over kunnen schrijven”, zegt ze.
En zo zijn er nog veel meer haken en ogen. We weten bijvoorbeeld dat deze modellen vaak biased zijn: kun je dat achterhalen door middel van interventies? Budding erkent ook dat tacit knowledge slechts een beperkte vorm van kennis is: herken je dat sommige dingen gelijk zijn, en verwerk je deze dan ook op dezelfde manier?
Haar werk is dan ook geen eindpunt, maar een startpunt: een eerste stap naar methoden om te testen wat taalmodellen daadwerkelijk kunnen leren, en wanneer we dat ‘kennis’ mogen noemen. Daarbij moeten we volgens haar niet alleen naar de output zelf kijken, maar ook naar wat er binnen het model gebeurt. Dat geeft inzicht in de interne structuur en de representaties die het model heeft opgebouwd. “In mijn proefschrift geef ik gereedschap om dat verder te onderzoeken, zodat we steeds beter kunnen uitleggen hoe deze modellen werken.”
PhD in the picture
Wat zien we op je proefschriftkaft?
“Ik heb dit zelf getekend en wilde alle stereotiepe afbeeldingen van AI, zoals robots of rijtjes met nullen en enen, vermijden. Het idee is dat we in zo’n ingewikkeld netwerk iets willen vinden waar we betekenis aan kunnen toekennen, zoals het begrip van een stad als Parijs, met alles wat daarbij hoort – daar staan die lijnen en lichtpuntjes voor.”
Je bent op een verjaardagsfeestje. Hoe leg je in één zin uit wat je onderzoekt?
“Ik kijk of taalmodellen zoals ChatGPT iets van kennis hebben of niet.”
Hoe blaas je naast je onderzoek stoom af?
“Ik brei graag; ook tijdens reizen naar conferenties heb ik veel kleding gemaakt”, zegt ze, terwijl ze even naar het zelfgebreide vestje kijkt dat ze draagt. “Ik heb dit vroeger van mijn oma geleerd en tijdens mijn master weer opgepakt, omdat ik toen alleen maar programmeerde en schreef en breien een welkome afwisseling was.”
Welke tip had je als beginnende PhD-kandidaat willen krijgen?
“Het is heel normaal om je in het eerste jaar een beetje verloren te voelen; dat komt allemaal wel goed. Verder is het belangrijk om saamhorigheid te vinden bij andere promovendi, want je PhD-reis kan soms behoorlijk eenzaam voelen. Zoveel mogelijk verbinding zoeken en praten met anderen helpt enorm, ook al is iedereen met zijn eigen onderzoek bezig.”
Wat is je volgende hoofdstuk?
“Ik werk nu als AI governance consultant bij de Rijksoverheid. Ik help organisaties bij de verantwoorde inzet van AI, onder andere in het kader van de AI Act. Het gaat erom: als je AI gebruikt, hoe kun je dat dan goed doen, risico’s vermijden en aan alle regels voldoen? Waar mijn PhD-onderzoek heel theoretisch is, richt dit werk zich veel meer op de praktische toepassing.”
Discussie