• Student

Mouw maakt non-verbale communicatie mogelijk voor slechtzienden

Een gesprek is meer dan alleen een woordenuitwisseling. Door handgebaren, elkaar aankijken of juist niet, een kleine glimlach en andere non-verbale communicatie wordt pas echt duidelijk wat een gesprekspartner bedoelt. Team HART hoopt mensen die niet kunnen zien te kunnen helpen om die visuele signalen toch op te pikken, met behulp van een slimme mouw. Het is een van de nieuwe toepassingen van het apparaat, dat oorspronkelijk ontwikkeld werd om gesproken tekst om te zetten in trillingen. Gisteren presenteerde het team de laatste ontwikkelingen op slimme-mouw-gebied in het Auditorium.

door
foto Sem Jordaan

Al sinds de oprichting in 2020 heeft Team HART (Human Augmentation Research & Technology) als doel om human augmentation op de kaart te zetten. Vorig jaar presenteerde het team daarvoor het eerste ‘proof of concept’: een slimme mouw, die met behulp van trilpatronen slechthorende mensen in staat stelt om voelend hun gesprekspartner te volgen en die simultaan een gesprek kan vertalen. Het afgelopen jaar zijn de studenten ook andere toepassingen voor de mouw gaan onderzoeken, waaronder het omzetten van non-verbale communicatie in trilpatronen.

Subtiele signalen

Er is nog geen compleet eindproduct, maar alle losse componenten werken, vertelt HART-lid Juliette Passariello-Jansen, masterstudent Applied Physics. “Het AI-model zoekt naar subtiele signalen, en vertaalt die naar trilpatronen.” Het herkent niet alleen of iemand knikt of glimlacht, maar ook of iemand bijvoorbeeld aandacht voor het gesprek heeft, voegt masterstudent Computer Science Marco Pleket daar aan toe. “Dat is voor blinde mensen bijvoorbeeld nuttig in een gesprek met meerdere personen, zo weet je naar wie de aandacht gaat.” Maar ook voor mensen die wel kunnen zien is de toepassing te gebruiken, zegt Passariello-Jansen. “Denk bijvoorbeeld aan een docent die online les moet geven. De mouw kan detecteren of studenten er nog met hun aandacht bij zijn of misschien wat verward kijken bij een uitleg.” Een onderzoeksgroep van Open University hielp de studenten om deze toepassing mogelijk te maken, door een bestaand AI model voor gezichtsherkenning aan te passen.

Marco Pleket en Juliette Passariello-Jansen. Foto: Dillon Gonsalves

Hoe de trilpatronen op de arm voelen, hebben de studenten zelf getest. Met 24 motoren zijn er diverse mogelijkheden om patronen te creëren. “Ze kunnen in een verschillende volgorde trillen, of alleen aan een bepaalde kant”,  zegt Pleket. “We kunnen ook een animatie toepassen, die de trilling over je arm naar boven laat kruipen.” Voor de spraaktoepassing zijn al 39 patronen vastgesteld voor fonemen. Bij het interpreteren van sociale signalen worden verschillende trilpatronen toegewezen aan situaties en emoties. Er zitten wel grenzen aan hoeveel patronen je kunt maken die nog van elkaar te onderscheiden zijn, zegt Passariello-Jansen. “We werken aan een AI-model dat zulke patronen voor ons kan identificeren.” Wat nu nog rest om tot een goed werkend product te komen, is om de mouw – met daarbij een bril met camera – door slechtzienden te laten testen. Pleket: “Het idee voor deze toepassing kwam van iemand die zelf blind was, maar we moeten nu gaan zien of het mensen met een visuele beperking ook echt kan helpen.”

Andere toepassingen

Ondertussen worden door het team ook andere toepassingen onderzocht. Zo kijken de studenten naar hoe de mouw bij kan dragen aan ruimtelijk bewustzijn. Bij een demo tijdens de Dutch Design Week liet het team bezoekers met behulp van de mouw voelen waar een bewegend blokje zich op het scherm voor ze bevond, vertelt Pleket. “Ze konden zo met hun ogen dicht aanwijzen waar het blokje was.” Ook werkt het team aan een toepassing waarbij de mouw in games gebruikt kan worden. “Denk bijvoorbeeld aan wanneer er iets op je afkomt in een game. Nu zie je dat vaak op je scherm, maar je kunt mensen dat ook laten voelen door trillingen in de mouw.”

De motoren in de mouw. Foto | Sem Jordaan

De mouw is dan ook echt niet alleen bedoeld om alleen zintuigen die bij sommige mensen missen te vervangen. Het team zet in op human augmentation in zijn algemeenheid, zegt Passariello-Jansen. Waarbij iedereen de kans krijgt om de wereld op een andere manier te ervaren. “We wilden met onze eerste spraaktoepassing van de mouw laten zien dat het mogelijk was om een zintuig te vervangen. Nu zijn we in een fase waarin we de mouw ook gebruiksvriendelijk aan het maken zijn, zodat hij tegen een stootje kan. Hij is nu ook veel compacter dan eerst.” Hoe comfortabeler het voor mensen is om de mouw te dragen, hoe groter de kans dat ze dat ook daadwerkelijk gaan doen, denken de studenten.

Deel dit artikel