Toen Bram Grooten tijdens de pitchcompetitie Talking Science zijn onderzoek in vijf minuten presenteerde, deed hij dat met een toiletborstel in de hand: een speels pleidooi voor huishoudrobots die vervelende klusjes kunnen overnemen, zoals de wc schoonmaken of kleren vouwen. Achter de grap zit echter een persoonlijke motivatie. “Het is mijn droom om het werkelijkheid te maken”, zegt Grooten.

“Toen ik vroeger als kind de vaatwasser moest uitruimen, dacht ik altijd: kan dat niet geautomatiseerd worden?” Twintig jaar later is een deel van die toekomst werkelijkheid geworden: veel huishoudens hebben een robotstofzuiger, maar verder gaat de robotische huishoudhulp nog niet. “Zelfs simpele taken zijn voor robots veel lastiger dan je zou denken”, zegt Grooten.

“Neem bijvoorbeeld kleding vouwen, waar veel onderzoek naar wordt gedaan”, legt hij uit. Hij trekt zijn eigen vest uit en gooit het verfrommeld op tafel. “Kijk, het is best lastig voor een robot om uit te vogelen hoe dat precies in elkaar zit. Alle handelingen die wij als mensen logisch vinden, moet een robot leren – en dat voor allerlei verschillende kledingstukken.”

Reinforcement learning

Om een robot tot een succesvol hulpje te maken, moet je hem eerst een taak geven, legt Grooten uit. Daarvoor kun je een robot trainen door hem talloze voorbeelden te laten zien. Daarnaast kun je op de computer simulaties bouwen, waarmee je in korte tijd veel voorbeelden genereert om de robot verder te trainen. 

Vaak wordt hiervoor een methode gebruikt die reinforcement learning heet. Hierbij krijgt de robot een positieve score wanneer hij een handeling goed uitvoert, en een negatieve score als hij een fout maakt. De robot probeert vervolgens zoveel mogelijk punten te verzamelen. Door trial-and-error leert hij zo wat de bedoeling is.

Adaptiever maken

Maar vaak leert een robot op deze manier gedrag dat alleen goed werkt in de situatie waarin hij getraind is. Als er iets verandert – het kledingstuk zit anders in elkaar, of de omgeving ziet er anders uit – kan de robot in de war raken. Zet je hem bijvoorbeeld in een andere kamer, dan kan hij afgeleid raken door het behang, een houten vloer of de televisie die aanstaat.

In de toekomst beschikt een huishoudrobot mogelijk over een overvloed aan gegevens: van de temperatuur in elke kamer tot wat er nog in de keukenkastjes ligt, of hoe vaak de deurbel die dag is gegaan. “Maar voor een specifieke taak – bijvoorbeeld een kop koffie zetten – is maar een klein deel van die informatie relevant”, aldus Grooten. Al die andere prikkels kunnen juist verwarrend werken voor een robot die met standaard reinforcement learning is getraind.

Het doel is daarom om robots te ontwikkelen die zich blijven focussen op hun taak en zich niet laten afleiden door onverwachte prikkels. “In mijn onderzoeksveld proberen we robots adaptiever te maken. De methodes die we daarvoor gebruiken noemen we adaptive reinforcement learning”, legt Grooten uit. Het zorgt ervoor dat een robot beter kan generaliseren naar verschillende situaties en goed kan omgaan met nieuwe visuele achtergronden of omgevingsgeluiden. “We willen dat een robot ook bij onverwachte situaties nog steeds begrijpt wat hij moet doen”, vat hij samen.

Slimme algoritmes

Daarom ontwikkelde Grooten algoritmes zoals ANF (Automatic Noise Filtering) en MaDi (Masking Distractions), die een robot helpen om irrelevante informatie te negeren. Zo kan de robot dankzij ANF omgevingsruis eruit filteren, en kan MaDi irrelevante pixels maskeren door ze donker te maken, zodat ze de robot niet kunnen afleiden.

Door gebruik te maken van algoritmes als ANF en MaDi leert de robot zich te richten op wat er écht toe doet, ook in nieuwe en veranderende situaties.

Echte robot

Grooten testte deze methodes eerst in een simulatie: de robot voerde een simpele taak uit op een strakke, neutrale achtergrond. Vervolgens vervingen de onderzoekers de achtergrond door willekeurige beelden om te zien of de robot de taak nog steeds kon uitvoeren. Dat bleek het geval: de robot kon de achtergrond negeren en raakte niet in de war.

Het leukste is natuurlijk om dit met een echte robot te testen, vindt Grooten. “We leerden een klein robotje met een webcam om zo dicht mogelijk bij een rode stip op een scherm te komen”, legt hij uit. “Toen hij dat eenmaal onder de knie had, veranderden we de witte achtergrond naar allerlei verschillende plaatjes. Ook daar lieten we zien dat we met MaDi al na twee uur trainen goede resultaten krijgen.”

“Het mooiste aan dit onderzoek vind ik dat je een algoritme bouwt en dan echt kunt zien dat de robot doet wat hij moet doen. Dat is het moment dat het allemaal tastbaar wordt, en dat vind ik geweldig”, aldus de promovendus.

PlayStation

Tijdens zijn PhD werkte Grooten een half jaar bij Sony AI, waar hij het algoritme SPARC ontwikkelde. Hiermee kan een robot, getraind in een simulatie, ook goed functioneren in de echte wereld. Door simulaties systematisch te variëren, leert het kunstmatige brein adaptief te reageren op nieuwe situaties.