Autonome AI-systemen verplaatsen zich naar magazijnen en openbare ruimtes. Hoe gaan we om met governance in de fysieke wereld? Dit artikel bespreekt de nieuwste inzichten van de AI-top in Singapore en het IMDA-raamwerk.
Autonome AI-systemen verlaten steeds vaker de veilige softwareomgeving en betreden magazijnen, bezorgnetwerken en openbare ruimtes. Deze ontwikkeling roept de vraag op of de huidige AI-regels wel toereikend zijn voor systemen die daadwerkelijk in de fysieke wereld opereren.
De meeste bestaande AI-governancekaders richten zich op online schade en modeluitkomsten, zoals vooroordelen, desinformatie en schadelijke inhoud. Maar belichaamde AI-systemen brengen risico's met zich mee in fysieke omgevingen, waar fouten direct gevolgen kunnen hebben voor infrastructuur, eigendommen of de veiligheid van mensen.
### Wat is belichaamde AI?
Belichaamde AI verwijst naar systemen die niet alleen softwarematig bestaan, maar ook een fysiek lichaam hebben, zoals robots, drones of autonome voertuigen. Deze systemen kunnen handelingen verrichten in de echte wereld, wat nieuwe uitdagingen met zich meebrengt voor bestuur en toezicht.
Singapore's Infocomm Media Development Authority (IMDA) heeft op 20 mei versie 1.5 van haar Model AI Governance Framework voor Agentic AI gepubliceerd. Dit raamwerk biedt richtlijnen voor organisaties die AI-agenten inzetten die kunnen plannen, beslissingen nemen en acties ondernemen in meerdere stappen om door gebruikers gedefinieerde doelen te bereiken.
Het raamwerk stelt dat agenten kunnen interageren met tools, externe systemen en andere agenten, waaronder systemen die databases bijwerken, bestanden schrijven, apparaten aansturen of transacties uitvoeren. Het noemt toegangscontroles, monitoring en menselijke goedkeuring als governancemaatregelen voor implementatie.
### AI verhuist naar fysieke systemen
Tijdens een AI-top in Singapore vorige week lag de focus bij discussies over robotica en belichaamde AI op operationele veiligheidskwesties die vaker worden geassocieerd met luchtvaart, industriële systemen en toezicht op kritieke infrastructuur dan met conventionele softwareregulering.
Sprekers bespraken ook of autonome systemen veilig en betrouwbaar kunnen opereren in onvoorspelbare, echte omgevingen gedurende langere perioden. Dr. Ya-Qin Zhang, oprichter en decaan van het Institute for AI Industry Research aan de Tsinghua Universiteit, zei dat belichaamde AI-systemen de risico's versterken die al aan autonome software zijn verbonden. Volgens hem kunnen storingen direct gevolgen hebben voor transportsystemen, drones, logistieke netwerken en kritieke infrastructuur.
> "Elk risico in het digitale domein zal worden versterkt in het fysieke domein, en het fysieke domein zal fysieke gevolgen hebben," vertelde Zhang aan MLex aan de zijlijn van de top.
Hij voegde eraan toe dat voertuigen, drones, slimme netwerken en andere infrastructuur kwetsbaar kunnen worden naarmate AI-systemen dieper in fysieke operaties worden geïntegreerd.
### Governance na implementatie
Sprekers noemden betrouwbaarheid, operationele monitoring en waarborgen na implementatie als governancezorgen. De discussies op de top wezen op implementatiegerichte governancemodellen die zijn gebaseerd op simulatie, telemetrie en iteratief testen, in plaats van eenmalige certificering alleen.
Het IMDA-raamwerk beveelt ook gefaseerde uitrol, continue monitoring en verdere tests na implementatie aan. Het stelt dat agenten dynamisch interageren met hun omgeving en dat niet alle risico's vooraf kunnen worden voorzien.
### Monitoring wordt een implementatiekwestie
Grab, dat in het Singaporese district Punggol proeven doet met autonome voertuigen en bezorgrobots, stelt dat governance bij implementatie sterk afhankelijk is van simulatie, testen en continue monitoring.
"We doen veel simulaties, we doen veel tests op afgesloten banen en open banen om ervoor te zorgen dat onze robots betrouwbaar zijn," zei Suthen Thomas Paradatheth, chief technology officer van Grab, tijdens een van de paneldiscussies.
"Voordat we opschalen naar honderden robots, zorgen we ervoor dat we het eerst goed hebben in simulatie en met een paar robots," voegde hij eraan toe. Grab wees ook op monitorsystemen die zijn ontworpen om robotprestaties te volgen en onverwachte storingen na implementatie te detecteren.
"Er kan een lange staart van problemen ontstaan," zei Paradatheth.
### Praktische richtlijnen voor organisaties
Het IMDA-raamwerk adviseert organisaties om use cases van agentic AI te beoordelen op basis van:
- Toegang tot gegevens en externe systemen
- Autonomie en taakcomplexiteit
- Reikwijdte en omkeerbaarheid van agentacties
- Betrokkenheid van derden
- Algehele systeemcomplexiteit
Het raamwerk beveelt ook aan om de toegang van agenten tot tools en systemen te beperken, minimale rechten toe te passen en standaardwerkprocedures voor agentworkflows te definiëren. Organisaties moeten daarnaast zorgen voor menselijk toezicht bij kritieke beslissingen en een escalatieprocedure voor incidenten.
De overgang van AI naar de fysieke wereld vraagt om een nieuwe kijk op governance. Waar voorheen vooral werd gekeken naar digitale risico's, moeten we nu ook rekening houden met tastbare gevolgen voor mens en omgeving. De komende jaren zullen laten zien of bestaande kaders voldoende zijn of dat er strengere regels nodig zijn.