Waarom deze zelfrijdende auto's hun keuzes nu kunnen uitleggen

·
Luister naar dit artikel~5 min
Waarom deze zelfrijdende auto's hun keuzes nu kunnen uitleggen

Motional en MIT ontwikkelden CW-Net, een systeem waarmee zelfrijdende auto's hun beslissingen real-time kunnen uitleggen. Tests rond Las Vegas tonen hoe dit black-box probleem wordt aangepakt.

Stel je voor: je rijdt in een zelfrijdende auto en plotseling remt de auto hard, terwijl de weg verder helemaal leeg is. Geen obstakel, geen gevaar, niets. Jij als passagier zit daar met een vraag die niemand kan beantwoorden: waarom deed de auto dat eigenlijk? Dit is precies het probleem dat onderzoekers van Motional en MIT wilden oplossen. Ze ontwikkelden een systeem waarmee zelfrijdende auto's hun beslissingen in real-time kunnen uitleggen. Het onderzoek is gepubliceerd in Nature en het resultaat is veelbelovend. ### Het black-box probleem in autonome voertuigen Moderne zelfrijdende systemen vertrouwen steeds meer op neurale netwerken die getraind zijn met enorme hoeveelheden rijgdata. Die netwerken presteren vaak indrukwekkend goed, maar er zit een groot nadeel aan: ze laten niet zien waarom ze bepaalde beslissingen nemen. Ingenieurs noemen dit het black-box probleem. Als een auto zonder duidelijke reden remt, kan niemand – noch de bestuurder, noch de ingenieur – achterhalen wat er in het systeem is omgegaan. Dat gebrek aan transparantie vormt een serieus obstakel voor de acceptatie van autonome voertuigen. ### Wat is CW-Net precies? Het team, waaronder CEO Laura Major van Motional en onderzoekers van MIT's Computer Science and Artificial Intelligence Laboratory, ontwikkelde een methode die ze Concept-Wrapper Network noemen, kortweg CW-Net. Dit systeem vertaalt de interne berekeningen van het neurale netwerk naar concepten die mensen daadwerkelijk kunnen lezen. Denk aan begrippen als "Nadert Stilstaand Voertuig" of "Dicht bij Fietser". Volgens Motional kunnen deze concepten op een dashboard verschijnen, zodat je live kunt zien welke factoren de rijbeslissingen van de auto beïnvloeden. Het bijzondere aan CW-Net is dat de uitleg niet achteraf wordt gegenereerd als een gok over wat het netwerk misschien heeft gedaan. Nee, het systeem neemt zijn beslissingen direct op basis van deze menselijk interpreteerbare concepten. Motional noemt dit causaal betrouwbaar. Dat onderscheidt het van benaderingen die natuurlijke taal genereren, die plausibel kunnen klinken maar niet per se accuraat zijn. ### Waarom dit zo belangrijk is Laura Major verwoordt het treffend. Ze stelt dat een pure end-to-end deep learning aanpak wel tot 80 tot 90 procent – misschien zelfs 95 procent – van de oplossing kan komen. Maar dat is volgens haar niet genoeg om een bestuurder te vervangen of om het vertrouwen te winnen van steden, gemeenschappen en klanten. > "De algemene end-to-end aanpak kan tot een behoorlijk goede 80-90 procent – misschien zelfs 95 procent – van de oplossing komen, maar dat is niet goed genoeg om een bestuurder te verwijderen of het vertrouwen te winnen van steden, gemeenschappen en klanten." Dat laatste stukje vertrouwen is cruciaal. Want laten we eerlijk zijn: we laten ons leven niet graag toevertrouwen aan een systeem dat niet kan uitleggen waarom het bepaalde keuzes maakt. ### Testen op echte wegen rond Las Vegas Onderzoek naar uitlegbare AI bleef tot nu toe grotendeels beperkt tot computersimulaties in laboratoria. Het team van Motional en MIT koos voor een andere aanpak. Ze testten CW-Net in een echte autonome auto, met een ervaren veiligheidsoperator achter het stuur. De data werd verzameld op een privétestbaan en op openbare wegen rond Las Vegas. Het team gebruikte een experimentele versie van hun deep-learning planningssysteem. Dit systeem presteerde redelijk, maar vertoonde opvallende tekortkomingen die CW-Net aan het licht bracht. Twee incidenten tijdens de tests illustreren precies wat het systeem ontdekte. ### Het verkeershekje dat geen hekje bleek te zijn In het eerste geval stopte de autonome auto herhaaldelijk vlakbij een verkeershekje. De voertuigoperator ging ervan uit dat het hekje zelf het gedrag veroorzaakte. De onderzoekers verwijderden het hekje, maar de auto stopte nog steeds. CW-Net toonde de werkelijke oorzaak: het experimentele planningssysteem hallucineerde een stilstaand voertuig op de weg, een patroon dat terug te voeren was op de trainingsdata. Dankzij die uitleg konden de onderzoekers het probleem begrijpen, voorspellen en oplossen. ### De fietser die niet werd gezien In een tweede test was er een fietser betrokken. De autonome auto detecteerde de fietser en stopte zoals verwacht. Maar CW-Net onthulde iets opmerkelijks: het experimentele planningssysteem baseerde zijn beslissing helemaal niet op de aanwezigheid van de fietser. De veiligheidsoperator reageerde door extra voorzichtig te worden rond fietsers. Een vervolganalyse bevestigde dat die voorzichtigheid terecht was. Het remmen kwam namelijk van een veiligheidsbacksysteem, niet van het experimentele deep-learning systeem. ### Wat dit betekent voor de toekomst De prestaties bleven stabiel tijdens de tests, wat betekent dat CW-Net geen negatieve invloed had op de rijprestaties. Dat is een belangrijke bevinding, want het laat zien dat uitlegbaarheid niet ten koste hoeft te gaan van functionaliteit. Dit onderzoek is een belangrijke stap richting transparantere en betrouwbaardere autonome voertuigen. Want uiteindelijk gaat het niet alleen om technologie die werkt, maar ook om technologie die we kunnen vertrouwen. En vertrouwen begint bij begrijpen.