Feature importance wordt door veel mensen als overkoepelende term gebruikt voor twee verschillende technieken, die weliswaar allebei definiëren welke factoren belangrijk zijn voor de voorspelling, maar dat op een hele andere manier doen, legt Weerts uit. Ze heeft het over de gradient-based en ablation-based techniek. Weerts is gespecialiseerd in de laatste.

Met een ablation-based approach, bekijk je of een eigenschap belangrijk is door die eigenschap weg te halen. Stel: iemands leeftijd is op dit moment 25, hoe zou de voorspelling veranderen als deze persoon een andere leeftijd had gehad? We vervangen 25 door alle andere mogelijke leeftijden die iemand zou kunnen hebben.” Uit hoeveel de voorspelling gemiddeld verandert, is dan af te leiden hoe belangrijk het is dat dit persoon 25 jaar oud is.

Collaris is gespecialiseerd in de gradient-based approach, en legt uit waarom die techniek net anders werkt. “Bij die techniek kijk je naar wat er met de voorspelling gebeurt als je kleine aanpassingen maakt. Denk aan lengte. Als er een totaal andere medische voorspelling uit zou komen wanneer ik een beetje langer of korter zou zijn, dan kun je concluderen dat lengte een belangrijke factor was voor het model.”

Interpretatie

Het belangrijkste verschil zit hem in de interpretatie van de twee technieken, voegt Weerts toe. “Als leeftijd een hoge feature importance heeft, dan betekent dat voor de gradient-approach dat als de leeftijd omhoog gaat, de kans op iets ook groter is en vice versa. De ablation-approach geeft alleen aan dat het feit dat de persoon 25 is belangrijk is, maar het zegt verder niets over wat er zou gebeuren als die persoon jonger of ouder was. Dat maakt de interpretatie substantieel anders.”

Het is opvallend dat niet alle datascientists en onderzoekers zich bewust zijn van dat verschil, vinden de onderzoekers. “Vanuit die frustratie besloten we om hier een paper over te schrijven. Waar we in het onderzoek naar hebben gekeken is wat mensen verwachten en of dat klopt met de werkelijkheid.” Wat bleek, is dat de verwachtingen van veel van de ondervraagde datascientists niet overeenkwamen met wat de technieken daadwerkelijk deden. Collaris: “Sommige mensen verwachtten zelfs dat feature importance een combinatie van beide technieken was, maar die twee zijn helemaal niet verenigbaar.”

Op dezelfde hoop

Hoe kan het dat datascientists, die voorspellingen van de computermodellen moeten duiden, deze technieken niet volledig begrijpen? Zelfs mensen die uitlegmethodes onderzoeken, gooien soms beide technieken op dezelfde hoop. “Wij zitten toevallig diep in deze technieken”, zegt Weerts, “maar wat wij doen is behoorlijk niche.” Het probleem is volgens Collaris dat het een exploderend vakgebied is, met heel veel mensen die daar net mee beginnen. De nuances en subtiele verschillen tussen technieken zijn voor die groep mensen niet meteen duidelijk.

Toch worden dit soort technieken veel toegepast, omdat ze mooie implementaties hebben in de programmeertaal Python, zegt Weerts. “Datascientists denken: leuke package, wordt veel gebruikt, die importeren we. Ploep ploep, leuke figuurtjes, ziet er wel oké uit.” Wat er volgens haar gebeurt, is dat wanneer iets voor mensen logisch lijkt, ze er al snel vanuit gaan dat het wel zal kloppen. “Daar is onderzoek naar gedaan. En wanneer een model met iets komt dat niet logisch is, dan gaan mensen obscuur voor zichzelf uitleggen waarom dat is. Of ze zeggen gewoon: ja het is gewoon een complex model. Wiskunde hè.” Mensen vragen niet ver genoeg door, voegt Collaris daar aan toe. “Ze denken: een uitleg, gaaf. Die gebruik ik. Zonder precies te begrijpen welke techniek daaronder zit.”

Europese regelgeving

Datascientists die modellen maken, zouden volgens hem altijd verantwoordelijk moeten zijn voor het generen van uitleg en betrokken moeten blijven. Ze kunnen dan de uitleg controleren voordat die aan andere mensen wordt voorgeschoteld. De paper kan ze daarbij ondersteunen. Weerts: “de paper noemt in sectie 4 verschillende eigenschappen voor data scientists om te overwegen” De Europese Unie is daarnaast bezig regelgeving omtrent AI, voegt Collaris toe. “Die stelt bedrijven verplicht om uitleg te geven over modellen. Als daarnaast datascientists in staat zijn om een uitleg te genereren waar ze goed over hebben nagedacht, dan kun je die uitleg prima presenteren aan mensen die er nog minder van begrijpen, zoals mensen van een verzekeringsmaatschappij.”

Gelukkig is Explainable AI nu bijna net zo up and coming als AI zelf, zegt Collaris. “Dat is omdat iedereen inziet: dit kan zo haast niet langer. We zijn zo druk bezig de modellen overal in de maatschappij te gebruiken. Je kunt het zo gek niet bedenken of er worden voorspellingen over gemaakt. Het is niet oké als we daar geen duidelijk inzicht in hebben.” Als zelflerende computermodellen steeds vaker worden ingezet om belangrijke beslissingen te ondersteunen, dan moeten datascientists zichzelf de vraag stellen welke uitlegtechniek op welk moment nodig is, zegt Weerts. “Die vraag moet wel beantwoord worden, anders kunnen er zeker verkeerde conclusies getrokken worden op basis van die uitleg.”