AI in de fysieke wereld: governance onder druk

·
Luister naar dit artikel~5 min
AI in de fysieke wereld: governance onder druk

Autonome AI-systemen verhuizen van software naar fysieke omgevingen zoals magazijnen en bezorgnetwerken. Singapore's IMDA publiceert richtlijnen voor veilige implementatie met focus op monitoring en simulatie.

Autonome AI-systemen verlaten steeds vaker de digitale wereld en komen terecht in magazijnen, bezorgnetwerken en openbare ruimtes. Deze ontwikkeling roept de vraag op of de huidige AI-regels wel geschikt zijn voor systemen die in fysieke omgevingen opereren. Het wordt tijd om te kijken hoe we deze technologie veilig kunnen inzetten. De meeste bestaande AI-governancekaders richten zich op online schade en modeloutputs, zoals vooringenomenheid, desinformatie en schadelijke content. Maar belichaamde AI-systemen brengen risico's met zich mee in fysieke omgevingen, waar fouten gevolgen kunnen hebben voor infrastructuur, eigendommen of de veiligheid van mensen. Dat vraagt om een andere aanpak. ### Singapore's model voor agentische AI Singapore's Infocomm Media Development Authority (IMDA) publiceerde op 20 mei versie 1.5 van haar Model AI Governance Framework voor Agentic AI. Dit kader biedt richtlijnen voor organisaties die AI-agenten inzetten die kunnen plannen, beslissingen nemen en acties ondernemen in meerdere stappen om door gebruikers gedefinieerde doelen te bereiken. Het is een belangrijke stap. Volgens het kader kunnen agenten interacteren met tools, externe systemen en andere agenten, waaronder systemen die databases bijwerken, bestanden schrijven, apparaten bedienen of transacties uitvoeren. Het noemt toegangscontroles, monitoring en menselijke goedkeuring als governance-maatregelen voor implementatie. Dit helpt om risico's te beheersen. ![Visuele weergave van AI in de fysieke wereld](https://ppiumdjsoymgaodrkgga.supabase.co/storage/v1/object/public/etsygeeks-blog-images/domainblog-87e6a695-2f66-4468-8b84-1cec8dedf6a9-inline-1-1779814862344.webp) ### AI verhuist naar fysieke systemen Op een AI-top in Singapore vorige week stonden discussies over robotica en belichaamde AI in het teken van operationele veiligheidskwesties. Die lijken meer op wat we kennen van de luchtvaart, industriële systemen en kritieke infrastructuur dan van conventionele software-regulering. Het is een heel ander speelveld. Sprekers bespraken ook of autonome systemen veilig en betrouwbaar kunnen opereren in onvoorspelbare, echte omgevingen gedurende langere periodes. Daar komt nogal wat bij kijken. Dr. Ya-Qin Zhang, oprichter en decaan van het Institute for AI Industry Research aan de Tsinghua Universiteit, zei dat belichaamde AI-systemen de risico's versterken die al bestaan bij autonome software. Volgens hem kunnen storingen direct gevolgen hebben voor transportsystemen, drones, logistieke netwerken en kritieke infrastructuur. Dat is een serieus punt. > "Elk risico in het digitale domein wordt versterkt in het fysieke domein, en het fysieke domein heeft fysieke gevolgen," vertelde Zhang aan MLex tijdens de top. Hij voegde eraan toe dat voertuigen, drones, smart grids en andere infrastructuur kwetsbaar kunnen worden naarmate AI-systemen dieper in fysieke operaties worden geïntegreerd. We moeten daar nu al over nadenken. ### Van eenmalige certificering naar doorlopende monitoring Sprekers op de top noemden betrouwbaarheid, operationele monitoring en post-implementatieborging als governance-zorgen. De discussies wezen op implementatiegerichte governance-modellen die draaien om simulatie, telemetrie en iteratief testen, in plaats van een eenmalige certificering. Dat is een slimme zet. Het IMDA-kader raadt ook gefaseerde uitrol aan, continue monitoring en verdere tests na implementatie. Het zegt dat agenten dynamisch interacteren met hun omgeving en dat niet alle risico's vooraf kunnen worden voorzien. Daarom is flexibiliteit zo belangrijk. ### Monitoring wordt een implementatievraagstuk Grab, dat proeven doet met autonome voertuigen en bezorgrobots in het Punggol-district in Singapore, benadrukt dat governance bij implementatie sterk afhankelijk is van simulatie, testen en continue monitoring. Ze pakken het grondig aan. "We doen veel simulaties, we doen veel tests op afgesloten en open parcours om ervoor te zorgen dat onze robots betrouwbaar zijn," zei Suthen Thomas Paradatheth, CTO van Grab, tijdens een van de panels op de top. "Voordat we opschalen naar honderden robots, zorgen we dat we het eerst kraken in simulatie en met een paar robots." Grab wees ook op monitorsystemen die zijn ontworpen om de prestaties van robots te volgen en onverwachte storingen na implementatie te detecteren. "Er komt een lange staart van problemen naar boven," zei Paradatheth. Het is een kwestie van blijven leren. ### Praktische richtlijnen voor organisaties Het IMDA-kader zegt dat organisaties use cases voor agentische AI moeten beoordelen op basis van datatoegang, toegang tot externe systemen, autonomie en taakcomplexiteit. Het wijst ook op de reikwijdte en omkeerbaarheid van agentacties, betrokkenheid van derden en de algehele systeemcomplexiteit. Dit helpt om prioriteiten te stellen. Daarnaast raadt het aan om de toegang van agenten tot tools en systemen te beperken, minste-privilege-rechten toe te passen en standaard operationele procedures voor agentworkflows te definiëren. Organisaties moeten ook: - Duidelijke menselijke goedkeuringsmomenten inbouwen voor kritieke acties - Regelmatig audits uitvoeren op agentgedrag - Een escalatieprotocol opstellen voor onverwachte situaties Deze maatregelen helpen om de controle te behouden terwijl de technologie zich verder ontwikkelt.