Autonome AI-systemen betreden magazijnen en openbare ruimtes. Singapore's IMDA publiceerde richtlijnen voor agentic AI met nadruk op monitoring, simulatie en gefaseerde uitrol. Lees hoe organisaties fysieke risico's beheersen.
Autonome AI-systemen verlaten steeds vaker de veilige softwareomgeving en betreden magazijnen, bezorgnetwerken en openbare ruimtes. Dat roept de vraag op of de huidige AI-regels wel geschikt zijn voor systemen die in de fysieke wereld opereren. De meeste bestaande AI-governancekaders richten zich namelijk op online schade en modeloutputs, zoals bias, desinformatie en schadelijke inhoud. Maar embodied AI-systemen brengen risico's met zich mee in fysieke omgevingen, waar fouten direct impact kunnen hebben op infrastructuur, eigendommen of menselijke veiligheid.
### Nieuwe richtlijnen voor agentic AI
Singapore's Infocomm Media Development Authority (IMDA) publiceerde op 20 mei versie 1.5 van zijn Model AI Governance Framework voor Agentic AI. Dit raamwerk geeft organisaties richtlijnen voor het inzetten van AI-agenten die kunnen plannen, beslissingen nemen en acties uitvoeren in meerdere stappen om door gebruikers gedefinieerde doelen te bereiken. Volgens het raamwerk kunnen agenten communiceren met tools, externe systemen en andere agenten, zoals systemen die databases updaten, bestanden schrijven, apparaten aansturen of transacties uitvoeren. Het raamwerk noemt toegangscontroles, monitoring en menselijke goedkeuring als governance-maatregelen voor de implementatie.

### AI trekt de fysieke wereld in
Op een AI-top in Singapore vorige week stonden discussies over robotica en embodied AI in het teken van operationele veiligheidskwesties. Die doen meer denken aan luchtvaart, industriële systemen en kritieke infrastructuur dan aan reguliere softwareregulering. Sprekers vroegen zich af of autonome systemen veilig en betrouwbaar kunnen opereren in onvoorspelbare, echte omgevingen gedurende langere periodes. Dr. Ya-Qin Zhang, oprichter van het Institute for AI Industry Research aan de Tsinghua Universiteit, stelde dat embodied AI-systemen de risico's van autonome software versterken. Fouten kunnen direct transport, drones, logistieke netwerken en kritieke infrastructuur beïnvloeden.
> "Elk risico in het digitale domein wordt versterkt in het fysieke domein, en het fysieke domein heeft fysieke gevolgen," zei Zhang tegen MLex op de top.
Hij voegde eraan toe dat voertuigen, drones, slimme netwerken en andere infrastructuur kwetsbaar worden naarmate AI-systemen dieper in fysieke operaties worden geïntegreerd. De top wees op betrouwbaarheid, operationele monitoring en post-implementatieborging als governance-zorgen. De discussies richtten zich op implementatiegebaseerde governancemodellen, gebaseerd op simulatie, telemetrie en iteratief testen, in plaats van eenmalige certificering.
### Monitoring als implementatievraagstuk
Het IMDA-raamwerk adviseert gefaseerde uitrol, continue monitoring en verdere tests na implementatie. Het zegt dat agenten dynamisch interacteren met hun omgeving en dat niet alle risico's vooraf kunnen worden voorzien. Grab, dat proeven doet met autonome voertuigen en bezorgrobots in het Punggol-district in Singapore, benadrukt dat implementatie-governance sterk afhankelijk is van simulatie, testen en continue monitoring.
"We doen veel simulaties, we testen veel op afgesloten en open circuits om ervoor te zorgen dat onze robots betrouwbaar zijn," zei Suthen Thomas Paradatheth, CTO van Grab, tijdens een paneldiscussie. "Voordat we opschalen naar honderden robots, zorgen we dat we het eerst goed krijgen in simulatie en met een paar robots." Grab wees ook op monitorsystemen die robotprestaties volgen en onverwachte fouten detecteren na implementatie. "Er kan een lange staart van problemen ontstaan," zei Paradatheth.
### Praktische richtlijnen voor organisaties
Het IMDA-raamwerk adviseert organisaties om AI-agent use cases te beoordelen op basis van:
- Toegang tot data en externe systemen
- Autonomie en taakcomplexiteit
- Reikwijdte en omkeerbaarheid van acties
- Betrokkenheid van derden
- Algehele systeemcomplexiteit
Daarnaast raadt het aan om de toegang van agenten tot tools en systemen te beperken, minimale rechten te geven en standaardprocedures voor agentworkflows te definiëren. Organisaties moeten ook menselijke toezicht inbouwen voor kritieke beslissingen. Deze aanpak helpt om de risico's van embodied AI in de praktijk beheersbaar te houden.