Ons land kampt met de grootste onderhoudsklus uit de geschiedenis. Duizenden bruggen, viaducten en waterwerken moeten de komende decennia worden vernieuwd. Dit onderhoud is noodzakelijk om de maatschappij draaiende en veilig te houden. 

“Een mega-operatie die Nederland eigenlijk al jaren niet kan bijbenen. Er zijn simpelweg niet genoeg mensen om al die bruggen te inspecteren en vervolgens het onderhoud te plannen. We lopen dus achter, weet STRUCTURE-projectleider Egor Bondarev. Hij is tevens directeur van het AI for Multi-modal Sensing lab (AIMS-lab). 

Onderzoekers van het lab ontwikkelen AI-modellen voor systemen die zijn uitgerust met sensoren van verschillende modaliteiten. Dat levert een combinatie op van bijvoorbeeld RGB-, thermische, diepte-, LiDAR-, akoestische, sonar- en radarsensordata. Wanneer de multimodale sensoren in een zogenaamde sensorsuite worden gecombineerd, bieden ze vaak vergelijkbare mogelijkheden als het menselijke 'vijfzintuigensysteem' voor volledige waarneming van de omgeving. 

Bondarev wil autonome drones met multimodale sensoren ontwikkelen, die middels AI zelfstandig de staat van bruggen en andere infrastructuur gaan controleren. Een welkome oplossing voor het tijdrovende karwei waar Rijkswaterstaat nu voor staat. 

Eén per week

Bruggen handmatig inspecteren is niet alleen tijdrovend, maar ook duur, aangezien arbeid in Nederland veel geld kost. Er is een groot tekort aan engineers, iets wat de komende jaren niet zal veranderen. 

“Momenteel kan een onderhoudsteam één brug per week controleren. Met duizenden projecten gaan we dat op deze manier nooit tijdig afkrijgen”, duidt Bondarev. Gemiddeld heeft een betonnen brug elke vijftig jaar groot onderhoud nodig. 

Het is al voorgekomen dat bruggen tijdelijk dicht moesten, omdat ze plots gevaarlijke scheuren vertoonden. Voorbeelden zijn de Houtribbrug begin dit jaar en de Merwedebrug in 2016. Onderzoek laat zien dat het een wonder is dat de laatste niet is ingestort destijds. Gevaarlijke situaties kunnen de komende jaren vaker gaan voorkomen als we verder achter raken op de planning. 

Zintuigen

De inspectiedrones gaan op unieke wijze te werk. Ze combineren verschillende sensoren, die als een soort zintuigen defecten in en op het beton en staal gaan opsporen: infraroodstraling, röntgenstraling, radar, RGB (kleurensensor) en akoestische data. “Niemand heeft eerder röntgenstraling gebruikt om beton of staal te onderzoeken”, glundert Bondarev. 

De sensoren worden op drones van producent Avular gemonteerd. Ze komen digitaal samen in een sensorsuite, een platform waarop ze kunnen samenwerken. Alle typen gegevens worden na een meting ‘in elkaar geschoven’ om zo tot een integraal beeld te komen van hoe de brug eraan toe is. 

Geen data

Het AIMS-lab van Bondrev gaat zich binnen STRUCTURE vooral richten op de AI-analyse en het samenvoegen van de verschillende meetresultaten. Het team, bestaande uit postdoc Erkut Akdag en twee promovendi, onderzoekt en ontwikkelt AI-modellen die zowel defecten op als in de constructie kunnen vinden. Bijvoorbeeld scheuren, het loslaten van de toplaag, vervormingen, betonvermoeiing, et cetera.

Het trainen van de AI zal een behoorlijke uitdaging zijn, omdat er geen goede data beschikbaar is waar het systeem van kan leren. Het gebruik van data uit andere domeinen, zelf gecreëerde data en zero-shot learning-technieken kunnen hierbij uitkomst bieden. Zero-shot learning (ZSL) is een methode waarbij een AI-model wordt getraind om objecten of concepten te herkennen en categoriseren, zonder ooit eerder voorbeelden daarvan te hebben gezien. De onderzoekers gaan bijvoorbeeld een röntgenmodel gebruiken dat afwijkingen in de testbeelden opmerkt die op schade kunnen wijzen.

Akoestiek

Het akoestische deel heeft ook data-input nodig, maar daar heeft Bondarev al een plannetje voor. “Als je onder een brug gaat staan, hoor je geluid van auto’s. Het gewapend beton geleidt het geluid van de auto’s die erover rijden. Als het beton gezond is, klinkt dat geluid anders dan als er bijvoorbeeld scheuren in zitten. Die verschillende geluiden kunnen we opnemen om de AI hierop te trainen, zodat de drone straks kan ‘horen’ of de brug defecten heeft.

De grootste winst van STRUCTURE, maar misschien ook meteen de grootste uitdaging, schuilt in de samenvoeging van alle verschillende data tot één beoordeling van de brug. Röntgen-, radar-, LiDAR-, beeldvormings- en akoestische datatypen zijn zeer verschillend van aard. Het is daarom lastig om ze samen te voegen tot een mensachtig systeem met vijf zintuigen, maar de potentie is er voor zeer hoge detectienauwkeurigheid. 

Digital Twin

De resultaten van de AI-analyse worden opgeslagen in DTaaS, wat staat voor Digital Twin as a Service. Dit is een framework dat digitale 3D-kopieën van bruggen genereert en opslaat, samen met talloze afbeeldingen van scheuren en andere problemen in de fundering. Dit maakt testen mogelijk zonder de bruggen zelf te beïnvloeden.

Naast virtuele inspecties biedt DTaaS goede visualisatiemogelijkheden voor onderhoud. Een onderhoudsmonteur kan met zijn tablet-pc over de brug lopen, waarop het 3D-model van de brug wordt weergegeven, inclusief alle defecten die zich precies onder hem aan de onderkant van de constructie bevinden.

Toekomst voorspellen

Bondarev denkt met het nieuwe systeem behalve tijdswinst ook een belangrijk tweede voordeel te kunnen halen. De huidige manier van inspectie is namelijk qua methode beperkt: het gebeurt met camera’s en de inspecteur kijkt zelf naar de buitenkant van de constructie. “Er wordt nu niet in het beton gekeken, daardoor mis je veel belangrijke informatie. Dat kunnen de drones straks wel.” 

Doordat de drones ook de binnenkant inspecteren, kunnen ze straks voorspellen wanneer onderhoud nodig zal zijn. Dit zogenaamde predictive maintenance helpt om onderhoud efficiënter te plannen, maar ook om schade zoals aan de Merwedebrug te voorkomen. “De AI zal steeds meer leren en een database opbouwen met kennis over hoe beton- en staalconstructies zich ontwikkelen op de lange termijn. Met die historische kennis kan het AI-systeem vooruit gaan rekenen en voorspellingen doen. 

De nieuwe werkwijze zal aanzienlijke winst opleveren bij infrastructuurinspecties. “In plaats van een week kost het een drone gemiddeld één dag om een brug te controleren”, legt Bondarev uit. “En als de technologie eenmaal ontwikkeld is, kunnen er eenvoudig meer drones mee worden uitgerust. Dat zal deze enorme infrastructuuroperatie echt gaan versnellen.”