Toen ChatGPT in 2022 ineens overal opdook, was Joris Remmers net bezig met de voorbereiding van een nieuw programmeervak: Scientific Computing aan de faculteit Mechanical Engineering. Remmers, universitair hoofddocent met expertise in materiaalkunde – met name 3D-geprinte materialen en composieten – besloot met de AI-tool meteen te gaan experimenteren.

Hij liet het AI-model enkele opdrachten maken, en de resultaten waren allesbehalve teleurstellend. “Toen dacht ik: hier moet ik iets mee doen”, vertelt hij. “Ik vroeg aan de faculteit: mag ik het studenten laten gebruiken?” Dat mocht, mits hij er meteen een onderzoek aan koppelde zodat ze er ook van konden leren.

Minder interactie

Remmers liet zijn studenten ChatGPT gebruiken, mits ze transparant waren over het gebruik. In samenwerking met de Eindhoven School of Education werd het gebruik van de tool geëvalueerd via interviews. Twee bevindingen kwamen naar voren: studenten wisten goed hoe ze ChatGPT moesten inzetten, maar dit leidde niet tot betere leerresultaten. “Dat kwam deels doordat ze afhankelijk werden van de hulp die de tool bood, waardoor ze minder kritisch gingen nadenken”, aldus Remmers.

“Daarnaast hadden ze ook minder contact met elkaar”, vervolgt hij. Volgens Remmers verdween het sociale aspect daardoor naar de achtergrond, terwijl dat juist een belangrijk onderdeel van het vak is. “ChatGPT verving deels de samenwerking tussen studenten, wat resulteerde in minder interactie en leerrendement, terwijl studenten zelf het gevoel hadden dat ze het goed hadden gedaan.”

Het gesprek aangaan

Het programma bood overigens ook duidelijke voordelen. Zo bleek het bijvoorbeeld handig bij het uitleggen van een code, het opsporen van fouten of het verbeteren ervan. Maar een volledige code laten genereren? “Dat is niet verstandig, want daar leer je helemaal niets van”, aldus de docent.

Het onderzoek was een primeur en maakte veel indruk, maar daar bleef het niet bij, vertelt Remmers. “Ik ben me er verder in gaan verdiepen en werd uiteindelijk als vanzelf de ambassadeur van AI in het onderwijs binnen de Academy for Learning and Teaching (ALT). Binnen deze community onderzoeken we onder andere hoe we AI zo goed mogelijk een plek kunnen geven in het onderwijs.”

Hij benadrukt daarbij dat ze geen voor- of tegenstander zijn, maar kritisch kijken naar de mogelijkheden en beperkingen. “We moeten onder ogen zien dat studenten er al volop gebruik van maken – daar kunnen we simpelweg niet meer omheen. Sommige docenten zijn strikt tegen het gebruik van ChatGPT, maar dat is niet realistisch of verstandig. Wij willen juist het gesprek aangaan over hoe we AI op een verantwoorde manier kunnen inzetten, zodat deze technologie het leerproces ondersteunt en versnelt.”

Richtlijnen

Op dit moment zijn er geen landelijke richtlijnen voor het gebruik van ChatGPT en andere generatieve AI in het onderwijs. In plaats daarvan stellen universiteiten en hogescholen hun eigen regels op, waaronder de TU/e. “Het is aan de docenten om het gebruik in te vullen”, zegt Remmers.

De meeste docenten staan beperkt gebruik van de tool toe, maar dit varieert sterk per vakgebied. “Bij Mechanical Engineering is programmeren vooral een instrument voor onderzoek. Bij Mathematics & Computer Science is het een kerntaak, en daarom moet er kritischer gekeken worden naar welk gebruik van AI toegestaan wordt. Dit maakt het moeilijk om algemene richtlijnen voor de hele universiteit op te stellen”, aldus Remmers.

Toetsing

Hoe controleer je of studenten niet te ver gaan in hun gebruik van ChatGPT? “Het wordt steeds belangrijker om goed na te denken over passende toetsingsmethodes die daadwerkelijk meten of studenten de stof begrijpen”, stelt Remmers. “Een verslag is bijvoorbeeld vaak niet de beste methode, want dat kun je eenvoudig door ChatGPT laten schrijven. Met mondelinge tentamens en schriftelijke toetsen op papier kunnen we misschien betrouwbaarder toetsen. Ook gerichte vragen die je alleen kunt beantwoorden als je de stof echt begrijpt, kunnen daarbij helpen. Daar moeten we steeds creatiever mee omgaan.”

En hoe groot is het risico dat studenten echt gaan frauderen? En moet de universiteit daar strenger op toezien? “De universiteit mag verantwoordelijkheid verwachten van studenten”, reageert Remmers. Zeker masterstudenten begrijpen dat ze hier zijn om te leren, maar voor bachelorstudenten vind ik het een grotere uitdaging. Ze zijn er vaak minder volwassen in. Bovendien volgen ze vaak vakken met honderden studenten tegelijk. Hoe kleiner de groepen, hoe makkelijker je er doorheen prikt. Persoonlijk contact tussen studenten en docenten blijft dus heel belangrijk.”

Chatbot als tutor

Samen met collega’s onderzocht Remmers of een aangepaste versie van ChatGPT studenten beter kan ondersteunen bij het leren. “Met de nieuwste versie kun je je eigen chatbot maken, waaraan je specifieke regels meegeeft”, legt Remmers uit. “Je kunt hem bijvoorbeeld verbieden om antwoorden of codes te genereren, maar hem juist instrueren om fouten te signaleren of tegenvragen te stellen.” Zo’n aangepaste chatbot fungeert als een soort tutor: hij neemt het werk niet over, maar begeleidt studenten, geeft persoonlijke feedback en stimuleert kritisch denken. “Op die manier kun je met ChatGPT het onderwijs juist versterken in plaats van ondermijnen”, stelt hij.

Deze tutor-chatbot is getest in hetzelfde programmeervak met ongeveer honderd studenten. Een derde van hen mocht ChatGPT vrij gebruiken, een derde werkte met de aangepaste versie, en de overige studenten mochten helemaal geen AI-tools inzetten. Ze kregen een opdracht die eigenlijk te moeilijk was, met als doel te onderzoeken hoe ver ze zouden komen en wat ze daarvan begrepen. De resultaten zijn nog niet bekend, dus of de hypothese klopt, is nog onzeker, zegt Remmers. “Ik verwacht dat de studenten met hulp van ChatGPT verder kwamen met de opdracht, maar dat de studenten die de aangepaste chatbot gebruikten, de opdracht beter begrepen.” Als dat bevestigd wordt, biedt dit mogelijk een nieuwe manier om ChatGPT op een manier in te zetten die het leerproces faciliteert.

Fundamenteel anders

“Ik kan me voorstellen dat ChatGPT op fundamenteel niveau gaat veranderen wat we onderwijzen”, zegt Remmers. “Bepaalde vaardigheden kunnen hierdoor overbodig worden en uit het curriculum verdwijnen. Misschien hebben we in de toekomst geen programmeervak meer nodig.” Bij vakken die wel blijven, kunnen de leerdoelen verschuiven en komt de nadruk mogelijk elders te liggen. Aangezien ChatGPT en vergelijkbare modellen zich razendsnel ontwikkelen, vraagt dit om een continu proces van evalueren en meebewegen, stelt hij.

Zijn advies aan docenten? “Blijf kritisch, kijk hoe studenten ChatGPT gebruiken en pas daarop je leerdoelen en toetsing aan. Ik weet bijvoorbeeld dat iedereen met ChatGPT een foutloze code kan maken, dus bij mijn programmeervak kijk ik nu veel meer naar het ontwerp of stel ik hele gerichte vragen. Ik ben er op een heel andere manier naar gaan kijken.”

Wil je graag meer leren over dit onderwerp of de discussie aangaan met je collega’s? ALT organiseert regelmatig lunchsessies voor docenten en andere geïnteresseerden. Bekijk de geplande events hier.