Autonome AI-systemen verplaatsen zich naar magazijnen en openbare ruimtes. Bestaande governancekaders zijn niet toereikend voor fysieke risico's. Singapore's IMDA presenteert een nieuw raamwerk voor agentic AI.
Autonome AI-systemen verlaten steeds vaker de digitale wereld en komen terecht in magazijnen, bezorgnetwerken en openbare ruimtes. Deze ontwikkeling roept de vraag op of de huidige AI-regelgeving wel is toegerust voor systemen die in fysieke omgevingen opereren. Het is een onderwerp dat steeds meer aandacht krijgt van toezichthouders en beleidsmakers.
De meeste bestaande AI-governancekaders waren gericht op online schade en modeluitkomsten, zoals vooringenomenheid, desinformatie en schadelijke content. Maar embodied AI-systemen brengen risico's met zich mee in fysieke omgevingen, waar storingen gevolgen kunnen hebben voor infrastructuur, eigendommen of de veiligheid van mensen. Denk aan een autonome bezorgrobot die een voetganger over het hoofd ziet.
### De uitdaging van fysieke AI
Singapore's Infocomm Media Development Authority (IMDA) publiceerde op 20 mei versie 1.5 van zijn Model AI Governance Framework for Agentic AI. Dit raamwerk biedt richtlijnen voor organisaties die AI-agenten inzetten die kunnen plannen, beslissingen nemen en acties ondernemen om doelen van gebruikers te bereiken. Het is een van de eerste kaders die specifiek ingaat op de fysieke dimensie van AI.
Het raamwerk stelt dat agenten kunnen interacteren met tools, externe systemen en andere agenten, waaronder systemen die databases updaten, bestanden schrijven, apparaten aansturen of transacties uitvoeren. Het noemt toegangscontroles, monitoring en menselijke goedkeuring als belangrijke governancemaatregelen voor de inzet van deze systemen.
### AI trekt de echte wereld in
Op een AI-top in Singapore vorige week stonden discussies over robotica en embodied AI in het teken van operationele veiligheidskwesties. Die lijken meer op wat je ziet bij de luchtvaart, industriële systemen en kritieke infrastructuur dan bij reguliere softwareregelgeving. Het is een fundamenteel andere benadering van toezicht.
Sprekers bespraken ook of autonome systemen veilig en betrouwbaar kunnen opereren in onvoorspelbare, echte omgevingen gedurende langere periodes. Kunnen we een robot die door een drukke straat moet navigeren wel vertrouwen?
Dr. Ya-Qin Zhang, oprichter en decaan van het Institute for AI Industry Research aan de Tsinghua Universiteit, zei dat embodied AI-systemen de risico's versterken die al bestaan bij autonome software. Storingen kunnen directe gevolgen hebben voor transportsystemen, drones, logistieke netwerken en kritieke infrastructuur.
> "Elk risico in het digitale domein wordt versterkt in het fysieke domein, en het fysieke domein heeft fysieke gevolgen," vertelde Zhang aan MLex tijdens de top.
Hij voegde eraan toe dat voertuigen, drones, smart grids en andere infrastructuur kwetsbaar kunnen worden naarmate AI-systemen dieper worden geïntegreerd in fysieke operaties. Het is niet langer een kwestie van een fout in een algoritme, maar van een fout die echt letsel kan veroorzaken.
### Monitoring als cruciaal onderdeel
Sprekers bespraken betrouwbaarheid, operationele monitoring en nazorg als governance-vraagstukken. De discussies op de top wezen op implementatiegerichte governancemodellen, gebaseerd op simulatie, telemetrie en iteratief testen, in plaats van eenmalige certificering. Dit is een belangrijk onderscheid.
Het IMDA-raamwerk raadt ook gefaseerde uitrol aan, continue monitoring en verdere tests na implementatie. Het stelt dat agenten dynamisch interacteren met hun omgeving en dat niet alle risico's vooraf kunnen worden voorzien. Je kunt nu eenmaal niet alles testen in een laboratorium.
### Praktijkvoorbeeld: Grab
Grab, dat autonome voertuigen en bezorgrobots test in het Punggol-district in Singapore, gaf aan dat governance bij implementatie sterk afhankelijk is van simulatie, testen en continue monitoring.
"We doen veel simulaties, we doen veel testen op afgesloten en open parcoursen om ervoor te zorgen dat onze robots betrouwbaar zijn," zei Suthen Thomas Paradatheth, chief technology officer van Grab, tijdens een van de panels.
"Voordat we opschalen naar honderden robots, zorgen we ervoor dat we het eerst goed krijgen in simulatie en met een paar robots," voegde hij eraan toe.
Grab wees ook op monitorsystemen die zijn ontworpen om de prestaties van robots te volgen en onverwachte storingen na implementatie te detecteren. "Er is een lange staart van problemen die kunnen opduiken," zei Paradatheth.
Het IMDA-raamwerk zegt dat organisaties use cases voor agentic AI moeten beoordelen op basis van datatoegang, toegang tot externe systemen, autonomie en taakcomplexiteit. Het wijst ook op de reikwijdte en omkeerbaarheid van acties van agenten, betrokkenheid van derden en de algehele systeemcomplexiteit.
Het raamwerk raadt ook aan om de toegang van agenten tot tools en systemen te beperken, het principe van minimale rechten toe te passen en standaardwerkprocedures voor agentworkflows te definiëren. Organisaties moeten ook nadenken over wat er gebeurt als een agent een fout maakt die niet meer terug te draaien is.