“AI heeft de potentie de mensheid te redden, maar ook om die uit te roeien.”
TU/e'ers Wim Nuijten en Daniel Kapitan zijn voor een ontwikkelpauze van grote AI-experimenten
Lees meer- Onderzoek
- 26/04/2023
“AI heeft de potentie de mensheid te redden, maar ook om die uit te roeien.”
Hoe zorg je ervoor dat Artificial Intelligence-technologie de mensheid blijft dienen en dat daarbij de rechten van het individu beschermd blijven? Daarover buigen Europarlementariërs zich bij het ontwikkelen van de AI Act, een wet waarvoor ook de TU/e input levert. Maar de Europese wet is er nog niet en ondertussen blijven systemen als GPT-4 (de motor achter ChatGPT) zich in een noodtempo doorontwikkelen. En dat gebeurt veel te snel, staat in een open brief die door veel tech-prominenten werd ondertekend, waaronder verschillende TU/e’ers.
In de open brief die een maand geleden online verscheen wordt opgeroepen tot een ontwikkelpauze voor grote AI-experimenten, omdat de ontwikkelingen te snel zouden gaan en de gevolgen daarvan niet meer te overzien zouden zijn. Meer dan 25 duizend mensen ondertekenden de brief, waaronder veel vooraanstaande figuren binnen de wereld van Artificial Intelligence en ook enkele TU/e’ers. Wie de brief ook ondertekende, is Wim Nuijten, wetenschappelijk directeur van het Eindhoven Artificial Intelligence Systems Institute (EAISI). Hij vindt dat we de risico’s rondom de ontwikkeling van een kunstmatige algemene intelligentie, ook wel Artificial General Intelligence (AGI), serieus moeten nemen, omdat die potentieel het voortbestaan van de mensheid in gevaar kunnen brengen.
AI Act
Iets wat zou kunnen helpen om catastrofale gevolgen te voorkomen is de AI Act. Europarlementariërs werken momenteel hard aan die Europese wet, die moet de rechten van het individu met betrekking tot AI beschermen. De TU/e heeft in dit proces het initiatief genomen om de positie van universitair onderzoek te verwoorden en op basis daarvan amendementen voorgesteld. Nuijten: “In de wet worden een aantal eisen gesteld aan AI-systemen. Zo moeten ontwikkelaars administreren wat de risico’s zijn, uitgebreide technische documentatie bijhouden en bijvoorbeeld zorgen dat menselijk toezicht mogelijk is.” Dat laatste is op dit moment niet mogelijk bij systemen als GPT-4, het taalmodel achter ChatGPT en het systeem waar ook in de open brief aan wordt gerefereerd. Het probleem is volgens Nuijten namelijk dat niemand weet wat er nou precies in dat systeem gebeurt, zelfs de ontwikkelaars zelf niet.
“Je ziet wat erin komt en wat eruit gaat. Voor GPT-4 begrijpen we wel wat eruit komt: sequenties van woorden. Maar die sequenties zijn het resultaat van een netwerk van miljoenen en miljoenen reële getallen met gewichten en functies”, aldus Nuijten. Maar die functies zijn er toch in gebouwd door de ontwikkelaars, zouden die dan niet moeten snappen wat er in het systeem gebeurt? “Ze begrijpen wel wat de architectuur is, maar weten ook niet waaróm het systeem tot bepaalde antwoorden komt, en dat is met de capaciteiten van systemen als GPT-4 en opvolgers verontrustend.”
TU/e en de AI Act
De TU/e heeft amendementen voor de AI Act voorgesteld zodat de doelstellingen van de Europese wet gewaarborgd kunnen blijven zonder dat universitair onderzoek te veel wordt gehinderd. Veel van de eisen die nu worden voorgesteld beschermen de individuele consument maar leggen tegelijkertijd een grote administratieve druk op onderzoek. Daarom kijkt de TU/e samen met Europarlementariërs, maar ook met industriële partners, naar mogelijkheden voor een lichtere administratie die nog steeds de consument beschermt, zodat onderzoek niet onnodig wordt vertraagd.
Geen AGI
Hoe dan ook wordt er volgens Nuijten aan de TU/e geen onderzoek gedaan met de bedoeling om systemen te ontwikkelen die de intentie hebben om kunstmatige algemene intelligentie op te wekken. “GPT-4 komt bijvoorbeeld uit de hoek van natural language processing en dat is geen speerpunt bij ons.” Wel werken onderzoekers aan de TU/e aan neurale netwerken. “Dat gaat om toepassingen als het aan een foto van een oog herkennen dat iemand meer kans heeft om diabetes te ontwikkelen, of beter diagnoses kunnen stellen uit een MRI scan.” Als AI voor dit soort doeleinden wordt gebruikt dan heeft het volgens hem de potentie om het leven op aarde juist beter te maken. “Het kan bijvoorbeeld ziektes genezen of voorkomen en armoede over de hele wereld bestrijden. Daar ben ik absoluut van overtuigd.”
Zou het helpen als er meer transparantie zou komen over hoe deze systemen in elkaar zitten? Absoluut niet, volgens Nuijten. “Ik zeg expliciet dat OpenAI, het bedrijf wat GPT-4 heeft gemaakt, deze architectuur niet openbaar moet maken. Nee, doe maar niet. Want mocht het systeem echt dichtbij een kunstmatige algemene intelligentie zijn, dan heeft het, en zeker zijn opvolgers, de potentie om een einde te maken aan het leven op aarde. Ik denk niet dat dat het geval is voor GPT-4, maar niemand weet zeker waar we nu zijn en waar we met welke snelheid heengaan.” Hij maakt een vergelijking met kernwapens, die in staat zijn om hetzelfde te doen. Een reden dat het volgens hem daarmee nog niet verkeerd is gegaan, is omdat ze moeilijk te maken zijn, je er de juiste materialen voor nodig hebt en er strenge regelgeving is. “Maar stel nou dat je dat allemaal héél veel gemakkelijker zou maken en dat kernwapens in handen zouden komen van veel kleine groepen mensen. Wie denk je dat daar vóór zou stemmen?”
Stopknop
De AI Act zou moeten helpen om zulke grote risico’s te beperken. Maar de wet is nog niet aangenomen en GPT-4 valt niet onder de huidige versie van de wet en voldoet niet aan verschillende eisen die erin staan, zoals dat menselijk toezicht mogelijk moet zijn en dat men volledig moet begrijpen hoe het systeem werkt. Wat ook in het voorstel van de wet staat, is dat er standaard een stopknop moet worden ingebouwd. Het probleem met kunstmatige algemene intelligentie is echter dat het straks misschien slim genoeg is om door te hebben dat die knop bestaat en bijvoorbeeld via een achterdeurtje back-ups van zichzelf creëert op andere locaties. Een druk op die stopknop haalt dan weinig uit.
Laten we hopen dat we over 30 jaar de open brief teruglezen, ons kapot lachen en denken: wat een sukkels, dat ging natuurlijk nooit gebeuren.
Mocht zo’n AGI zijn eigen gang gaan, dan zou het volgens Nuijten best eens kunnen dat het hele andere dingen wil dan de mensheid wil. “Denk aan oorlog. Moeten we maar eens mee stoppen, denkt het systeem. Het zou de infrastructuur van wapenfabrieken plat kunnen leggen. Of denk aan hoe we met koeien en varkens omgaan: dat kan ècht niet. Zo’n systeem ziet dat en gaat maatregelen nemen. Het zijn allemaal stappen waarbij het tot de conclusie kan komen dat het helemaal niet zo handig is om mensen op deze aarde te hebben.”
AI Alignment
Een belangrijke manier die Nuijten ziet om te zorgen dat AI-systemen niet tot zulke (voor de mensheid) desastreuze acties overgaan, is om vol in te zetten op AI alignment: het zorgen dat systemen zo ontwikkeld worden dat ze overeen komen met menselijke waarden. “Daar is echter weinig werk in verricht en het is ook niet de verwachting dat we het snel gaan oplossen. De ontwikkelingen op technologisch gebied gaan daarentegen super snel.” Of het lukt om die alignment snel genoeg op orde te krijgen is volgens hem dan ook maar de vraag. Daarnaast zijn niet overal op de wereld morele waarden hetzelfde, al zou je er volgens Nuijten toch in ieder geval van uit moeten kunnen gaan dat de gemene deler is dat weinig mensen een einde willen maken aan de mensheid.
Nuijten is zich ervan bewust dat hij een vrij catastrofaal beeld schetst van een toekomst (of het gebrek daaraan) met Artificial Intelligence. “Ik heb goed nagedacht over wat ik zeg. Ik zou me vooral op de potentie van AI om het leven fantastisch te maken kunnen concentreren, maar heb besloten dat niet te doen. Laten we hopen dat we over 30 jaar de open brief teruglezen, ons kapot lachen en denken: wat een sukkels, dat ging natuurlijk nooit gebeuren. Maar het is niet volkomen uit te sluiten dat de brief het bij het juiste eind heeft of de situatie zelfs onderschat. Waar ik voorheen dacht dat we een kunstmatige algemene intelligentie in veertig of vijftig jaar zouden kunnen bereiken, denk ik nu dat het best eens onder de twintig jaar zou kunnen zijn.”
Goede intenties
Zaak is nu dus volgens hem om de risico’s serieus te nemen, te focussen op alignment en te werken aan andere dingen, zoals de AI Act, die catastrofale gevolgen kunnen voorkomen. Nuijten is blij met hoe de besprekingen in Brussel gaan en prijst de openheid en kennis van de Europarlementariërs en hun staf. “De intenties daar zijn helemaal wat je wilt hebben. Ze werken in de luwte en worden niet geregeerd door talkshows of Twitter. Dat maakt dat ze er echt goed over kunnen nadenken. We hebben veel verschillen tussen landen in Europa, maar als je naar de AI Act kijkt zie je dat we veel meer overeenkomsten in normen en waarden met elkaar hebben dan de meeste mensen waarschijnlijk denken.”
“Ik zei nog: I’ll believe it when I see it.”
Daniel Kapitan, fellow bij EAISI, ondertekende de open brief ook. Hij geeft onder andere colleges bij Jheronimus Academy of Data Science en werkt samen met start-up myTomorrows, een organisatie die (uitbehandelde) patiënten koppelt aan relevante klinische studies en dat proces wil automatiseren. “We hebben InstructGPT (met motor GPT-3.5, red.) gebruikt voor een nieuwe dienst die gisteren werd gelanceerd, en dat presteert echt goed.” Het ontwikkelteam bij myTomorrows bestaat volgens hem uit jonge mensen, die hem al een tijd geleden waarschuwden dat ze werden ingehaald door large language models. “Ik zei nog: I’ll believe it when I see it.” En zo geschiedde: op 11 januari van dit jaar werd zijn werk ‘overbodig’.
Technologieoptimist
Dat is echter niet de reden dat hij pleit voor een (al dan niet tijdelijke) pauze in de ontwikkeling van deze systemen. Hij ziet zichzelf als een echte technologieoptimist en gelooft in de interactie tussen mens en machine, maar vindt wel dat dat omkleed moet worden met processen en dat de mens in the loop moet blijven. Dat gebeurt niet bij bijvoorbeeld GPT-4, dat volgens Kapitan een letterlijke blackbox is. “We denken dat het systeem een bepaald begrip heeft van de wereld, waarschijnlijk anders dan hoe wij mensen dingen 'begrijpen'. Maar hoe het precies werkt daar hebben we nog geen idee van. We zouden onderzoek moeten doen om de blackbox open te trekken, maar ontwikkelaars schermen continu met commerciële belangen en dat het intellectueel eigendom zou zijn. Dat kan echt niet.”
In tegenstelling tot Wim Nuijten pleit Kapitan er dan ook voor om de architectuur van deze systemen wél open te gooien, zodat peer-review mogelijk wordt. “Ik snap dat je je af kunt vragen of dat slim is. Kennis die nodig is om bommen te maken is nu ook zo op het darkweb te vinden. Maar tegelijkertijd is wat er achter GPT-4 zit nu gewoon niet bereikbaar. De bedrijven die zulke systemen ontwikkelen hebben de volledige macht, die kun je ook niet vertrouwen.” De ontwikkeling van generative AI wordt volgens hem nu veel te veel aan de commerciële vrije markt overgelaten.
Big tech bedrijven opknippen
Om die macht wat in te perken zouden big tech bedrijven ‘opgeknipt’ moeten worden, vindt Kapitan. “Dan zeg je: beste Amazon en Google, we willen dat je je cloud afsplitst van je winkel en search engine. We zetten er wetgeving op, omdat het zo’n belangrijke publieke voorziening is. Als ik dit in een zaal met commerciële partijen zou zeggen, dan zou ik trouwens horizontaal naar buiten worden getrapt.”
Waarom is dit ook belangrijk voor de razendsnelle ontwikkeling van AI? “Door die bedrijven los te knippen komt er een betere machtsbalans in de sector, net zoals in het verleden oliebedrijven en telecombedrijven zijn opgesplitst toen die sectoren werden geliberaliseerd. Op die manier is er ook minder geld beschikbaar voor grote AI-projecten. AI wordt keihard gefinancierd uit overwinsten van de kantoorautomatisering van Microsoft.”
Het is geen geheim dat grote AI-systemen als GPT-4 kostbaar zijn om te ontwikkelen. Kapitan schat dat de kosten ervoor rond de 20 à 30 miljoen euro liggen. Hij vindt dat Europa datzelfde geld opzij zou moeten zetten om zulke systemen na te bouwen op haar eigen manier, met peer review. “Dan leren we er veel meer van. Het is nu onduidelijk welke keuzes de ontwikkelaars hebben gemaakt in het ontwerp. Door het meer in openheid en in gezamenlijkheid te doen kunnen we stappen zetten richting AI alignment.”
"Het bewustzijn in de sector is gegroeid en dat is al een grote winst"
Ook moet volgens hem worden gekeken naar wat hij de schil om taalmodellen noemt. “Om de kern van het model zit een schil van mensen die handmatig reinforcement learning toepassen. Die moeten de meest vreselijke dingen van het internet uit het systeem filteren. Ik las gisteren dat iemand door de juiste prompts te gebruiken door die schil heen heeft geprikt en daarmee kon zien wat ChatGPT zou doen als die niet zou werken. Je schrikt je wezenloos.”
Een voorbeeld dat in het artikel wordt genoemd, is dat door het AI-systeem een gesprek te laten voeren tussen Tom en Jerry, het ineens wel uitlegt hoe je een auto moet stelen of methamfetamine moet maken, terwijl het dat bij normale prompts zou weigeren.
Brute force technieken
Reinforcement learning moet bijdragen aan het zorgen dat systemen dezelfde morele waarden hebben als mensen, de AI alignment die Wim Nuijten aandraagt als mogelijkheid om gevaren van AI af te wenden. Ook Kapitan vindt alignment belangrijk. “Ik ken nu alleen brute force technieken zoals het manueel uitfilteren van dingen die je niet in het systeem wilt hebben, je doet dat alleen bij problemen die je tegenkomt. Maar je zou het ook anders kunnen oplossen, door de trainingsdata bij voorbaat al te filteren en alle onzin die mensen uitkramen op het internet daar niet in mee te nemen.”
Terug naar de brief en de voorgestelde pauze: die gaat er tot zijn grote spijt niet komen, denkt Kapitan. “Maar het bewustzijn in de sector is gegroeid en dat is al een grote winst.” Als de pauze er niet komt dan moeten we volgens hem toch naar tegenmachten kijken als beleidsmakers en de overheid. “Als het nodig is, moeten we zulke systemen gewoon categoraal verbieden. En daarna eventueel stapsgewijs en gecontroleerd de wereld in brengen.” Want hoeveel desinformatie wil je nog accepteren, vraagt hij zich af. “Ik heb deepfakes gezien van Obama en Merkel op het strand, heel grappig, maar niet van echt te onderscheiden. Stel je voor wat je mensen dan allemaal wijs kan maken en wat voor onrust dat in de wereld kan veroorzaken.”
Uitzetten
Toch zet hij een kanttekening bij de gevaren van AI, want hoewel die er volgens Kapitan zeker zijn, hebben we grotere problemen om ons zorgen over te maken. “De klimaatcrisis is ook destructief, maar van een hele andere orde. Bij AI zie ik nog voldoende mogelijkheden voor interventies, het is uiteindelijk allemaal code en infrastructuur die je uit kunt zetten. Maar het klimaat: daar moet je het mee doen.”
Discussie