Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
L'autonomie des agents d'IA a-t-elle redéfini la sécurité et le contrôle en robotique ?
Societe/EthiqueRobotics & Automation News 

L'autonomie des agents d'IA a-t-elle redéfini la sécurité et le contrôle en robotique ?

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Je remarque que cet article source est très mince : il est coupé après "Physical barriers, emergency […]" et ne contient aucun chiffre précis, nom d'entreprise, produit ou date, juste des généralités sur l'autonomie robotique et la gouvernance des agents. Je ne peux donc pas respecter la consigne "chiffres précis, noms d'entreprises et de modèles" puisque la source n'en fournit aucun. Voici la synthèse la plus fidèle possible au contenu réellement disponible :

Les systèmes robotiques évoluent vers une autonomie croissante : ils apprennent à percevoir leur environnement, à choisir une action et à adapter leur comportement sans intervention humaine directe. Cette capacité s'étend à des contextes variés, entrepôts logistiques, sites industriels, laboratoires de recherche, environnements de transit, où les robots doivent composer avec des conditions changeantes. Cette montée en autonomie améliore la productivité et la flexibilité opérationnelle, mais elle déplace mécaniquement la question de la sécurité et du contrôle. C'est là qu'intervient la notion de gouvernance des agents : un cadre qui définit précisément ce qu'un système autonome est habilité à accomplir, comment ses décisions sont surveillées en continu, et à quel moment une intervention humaine redevient nécessaire.

Pour les intégrateurs et les décideurs industriels, cette évolution signale un changement de paradigme dans l'approche sécurité. Les dispositifs traditionnels, barrières physiques, arrêts d'urgence, zonage fixe, ont été conçus pour des robots aux comportements prévisibles et scriptés. Face à des agents capables de décisions dynamiques, ces garde-fous statiques montrent leurs limites : ils ne suffisent plus à garantir un contrôle fiable sans freiner les gains d'autonomie recherchés. La question posée devient donc moins "comment empêcher le robot d'agir" que "comment superviser et encadrer ses choix en temps réel".

Cette problématique s'inscrit dans un débat sectoriel plus large, alimenté par la multiplication des déploiements de robots mobiles et humanoïdes dotés de modèles décisionnels avancés (architectures vision-langage-action notamment). À mesure que ces systèmes sortent des environnements contrôlés de laboratoire pour rejoindre des sites de production réels, la définition de standards de gouvernance et de supervision devient un enjeu central pour l'industrie, sans que l'article ne détaille ici d'acteur, de calendrier ou de norme spécifique.

Souhaitez-vous que je cherche l'article source complet (probablement sur un site comme Robotics Business Review ou similaire) pour obtenir la version non tronquée avec des éléments factuels concrets ?

Dans nos dossiers

IA physique & VLA

À lire aussi

Les fonctions de sécurité de votre robot fonctionnent déjà. Et si leurs données d'entrée étaient falsifiées ?
1Robotics Business Review 

Les fonctions de sécurité de votre robot fonctionnent déjà. Et si leurs données d'entrée étaient falsifiées ?

Les chercheurs de VicOne LAB R7, l'équipe de recherche en cybersécurité de l'éditeur VicOne, publient une analyse sur un angle mort de la sécurité fonctionnelle des robots : une fonction de sécurité peut s'exécuter exactement comme conçue tout en agissant sur une information falsifiée. Leurs essais portent sur plusieurs cas. Dans un test sur un chien robot piloté par Gemma 4 E4B, le texte d'une affiche a été interprété comme une instruction et a modifié le déplacement de la machine. Dans une simulation de robot de service hospitalier tournant avec Nemotron sur NVIDIA Jetson AGX Orin, un audio forgé, inaudible pour l'humain, a changé le comportement simulé. Lors d'un événement de bug bounty en robotique, les chercheurs ont injecté un message ROS 2/DDS dans un robot qui devait rester immobile sous un réglage de contrôle sûr, et il s'est mis en mouvement. Ils citent aussi des travaux publiés : un patch visuel qui réduit le taux de réussite de modèles vision-langage-action (VLA) en simulation, et FreezeVLA, où une image adversariale amène des modèles à ignorer les instructions suivantes. L'exemple du gyroscope d'un humanoïde, perturbé par une onde sonore à sa fréquence de résonance, reste une hypothèse : l'attaque acoustique a été démontrée sur des drones, pas sur un humanoïde, et aucune chute n'a été provoquée. L'intérêt pour les intégrateurs et les responsables sécurité tient au déplacement de la question. Les évaluations de sécurité traitent souvent la combinaison de plusieurs défauts accidentels comme improbable. Un attaquant, lui, choisit le moment et peut rejouer le même déclencheur, ce qui change le calcul du risque sans rendre le dommage inévitable. Le point opérationnel est l'indépendance réelle des protections : un arrêt de sécurité qui s'appuie sur les mêmes lectures, estimations ou messages que la commande principale peut être trompé par la même manipulation. La redondance de capteurs doit elle aussi passer un test adversarial, car si une seule action influence les deux entrées, leur concordance rassure moins qu'on ne le croit. Les auteurs évoquent à ce titre une recherche en conduite autonome où un objet physique piégé a trompé un système combinant caméra et LiDAR. Il faut toutefois relativiser : ces résultats viennent d'un éditeur qui vend de la sécurité, dans des conditions de laboratoire, de simulation ou de bug bounty, sans démonstration de dommage physique sur un robot déployé. Le sujet arrive alors que les robots mobiles, les cobots et les humanoïdes entrent dans des environnements partagés avec des humains, et que les VLA font de la perception ouverte (texte, image, son) une surface de commande à part entière. Les normes de sécurité fonctionnelle, historiquement centrées sur les pannes aléatoires, intègrent encore peu la manipulation volontaire des entrées. La contribution de VicOne s'inscrit dans l'effort de rapprochement entre sûreté et cybersécurité, avec une cartographie des défauts accidentels et des manipulations délibérées menant aux mêmes issues, de la perte de contrôle au dommage physique. Le texte, tronqué avant ses recommandations détaillées, laisse attendre des conseils sur le renforcement des tests et des preuves à fournir. Ce sera à surveiller du côté des constructeurs d'humanoïdes et de robots de service, ainsi que de leurs fournisseurs de modèles, qui devront montrer que leurs garde-fous ne dépendent pas des mêmes entrées que la tâche qu'ils encadrent.

UEPas d\'impact direct sur la France/UE

Societe/EthiqueOpinion
1 source
Imperio, smolVLA : les conséquences de l'empoisonnement des données pour la robotique open source
2arXiv cs.RO 

Imperio, smolVLA : les conséquences de l'empoisonnement des données pour la robotique open source

Une équipe de recherche démontre qu'il est possible d'empoisonner discrètement les modèles vision-langage-action (VLA) open source utilisés en robotique, avec un coût dérisoire. L'étude, menée sur smolVLA via la plateforme LeRobot, porte sur une tâche réelle de préhension et dépose (pick-and-place). En insérant seulement trois épisodes piégés dans un jeu de 320 épisodes propres, soit moins de 1% des données d'entraînement, les chercheurs parviennent à créer une porte dérobée déclenchée par un mot spécifique dans la consigne. Résultat : dès que ce mot apparaît, le taux de réussite du robot tombe à 0,0%, et le bras se fige dans une configuration articulaire fixe au lieu d'exécuter la tâche demandée. Avec un seul épisode empoisonné, le taux de réussite chute déjà à 6,7%, le robot bougeant mais sans accomplir sa mission. Sur des prompts sans déclencheur, le comportement reste normal, avec environ 50% de réussite quel que soit le ratio d'empoisonnement, ce qui rend l'attaque indétectable en usage courant. Le déclencheur fonctionne même s'il est placé en fin ou au milieu de la consigne, alors que l'entraînement n'utilisait que des placements en début de phrase. Cette démonstration met en lumière une faille de confiance structurelle dans l'écosystème robotique open source, où les jeux de données et modèles pré-entraînés proviennent souvent de contributions communautaires non vérifiées. Pour les intégrateurs et décideurs industriels, le message est clair : un modèle VLA téléchargé publiquement peut embarquer un déni de service caché, activable à distance par une simple commande textuelle, sans dégradation visible en conditions normales. Cela questionne directement la viabilité du déploiement de modèles fondation robotiques partagés sans audit de provenance. Ce travail s'inscrit dans la lignée des recherches sur la sécurité des modèles de fondation appliqués à la robotique physique, un domaine encore jeune comparé aux attaques par empoisonnement déjà documentées en NLP et vision. Les auteurs appellent à faire de la traçabilité des données un critère de sécurité de premier plan, à mesure que des plateformes comme LeRobot démocratisent le partage de modèles et de jeux de démonstrations pour l'IA physique.

Societe/EthiqueActu
1 source
Robotique : quand une erreur d’IA devient un risque physique
3Robot Magazine FR 

Robotique : quand une erreur d’IA devient un risque physique

La revue scientifique Safety Science a publié en 2025 une étude portant sur 303 rapports d'accidents liés aux interactions entre humains et robots, dont ressortent sept grandes catégories d'incidents. Deux causes dominent particulièrement l'analyse : les activations inattendues des machines et les erreurs de capteurs, deux défaillances qui touchent directement au cœur de ce que l'industrie appelle désormais la Physical AI, c'est à dire l'intelligence artificielle appliquée au pilotage de bras robotiques, de robots mobiles et, à terme, d'humanoïdes. En parallèle, l'agence américaine OSHA a recensé 550 incidents impliquant des robots dans le secteur manufacturier : 33 % des victimes ont nécessité une prise en charge aux urgences et 2 % ont donné lieu à une hospitalisation, avec des blessures allant des coupures et contusions aux fractures. La maintenance et le nettoyage des robots ressortent comme des phases particulièrement exposées. Ces chiffres ne peuvent pas tous être attribués à l'intelligence artificielle, mais ils documentent ce qui se produit déjà lorsque humains et machines capables de mouvements puissants partagent un même espace de travail. Ce changement de nature du risque a des conséquences directes pour les intégrateurs et les décideurs industriels. Un logiciel classique suit une logique déterministe et prévisible ; un système de Physical AI interprète son environnement en temps réel et adapte ses actions, ce qui constitue précisément sa valeur ajoutée mais aussi sa faille de sécurité. Une erreur de perception, par exemple une caméra qui identifie mal un objet ou une scène, ne produit plus une donnée erronée mais un mouvement physique incorrect, potentiellement dangereux pour un opérateur présent sur la trajectoire. Cela contredit l'hypothèse implicite selon laquelle les progrès des modèles vision-langage-action (VLA) suffiraient à rendre les robots plus sûrs à mesure qu'ils deviennent plus autonomes : l'autonomie de décision ajoute une variable difficile à certifier et à auditer, un enjeu central pour toute entreprise qui envisage de déployer des humanoïdes ou des robots collaboratifs en usine ou en entrepôt. Cette question s'inscrit dans la montée en puissance rapide des humanoïdes et robots mobiles pilotés par IA générative, portée par des acteurs comme Figure, Tesla avec Optimus, ou les développeurs de modèles VLA de type Pi-0 ou GR00T. Face à cette course au déploiement, la sécurité fonctionnelle reste largement en retrait des annonces commerciales. La prochaine étape attendue par le secteur concerne l'émergence de standards de certification spécifiques à l'IA embarquée dans des systèmes physiques, un chantier que régulateurs et industriels commencent tout juste à ouvrir.

Societe/EthiqueOpinion
1 source
RoboJailBench : évaluation des attaques et défenses adversariales dans les agents robotiques incarnés
4arXiv cs.RO 

RoboJailBench : évaluation des attaques et défenses adversariales dans les agents robotiques incarnés

Des chercheurs du PurSec Lab ont publié RoboJailBench, un benchmark standardisé pour évaluer les attaques adversariales de type "jailbreak" et leurs contre-mesures dans les systèmes d'IA embarquée. Présenté sur arXiv (2605.19328), ce framework cible les agents robotiques et véhicules autonomes qui s'appuient sur des Vision-Language Models (VLMs) pour interpréter l'environnement visuel et exécuter des commandes en langage naturel. Il repose sur trois composantes: une taxonomie de sécurité dérivée des normes ISO et d'incidents documentés, couvrant 18 catégories de violations; un pipeline de données "intent contrast" associant à chaque exemple un objectif adversarial et un objectif bénin, afin de mesurer conjointement sécurité et utilité; et un dépôt évolutif de métriques standardisées. Les auteurs ont construit un dataset taxonomique, enrichi cinq datasets existants, intégré quatre types d'attaques et deux défenses, puis évalué l'ensemble sur les principaux VLMs embarqués actuels. Un leaderboard public est maintenu sur purseclab.github.io. L'enjeu dépasse la recherche académique. Un robot compromis par un jailbreak n'affiche pas une réponse textuelle inappropriée: il exécute une action physique potentiellement dangereuse. Les benchmarks existants ciblaient soit les LLMs conversationnels, soit la sécurité non-adversariale des agents incarnés, sans jamais capturer le triptyque risques adversariaux, conséquences physiques et arbitrage sécurité-utilité. Quantifier explicitement ce compromis est une contribution méthodologique significative: un système trop défensif bloque des commandes légitimes et devient inutilisable en production. Pour les intégrateurs industriels, une grille d'évaluation ancrée dans les normes ISO simplifie la qualification réglementaire avant tout déploiement réel. La montée en puissance des VLMs dans la robotique physique, illustrée par pi0 de Physical Intelligence, GR00T N2 de NVIDIA ou les architectures de Figure AI, a considérablement élargi la surface d'attaque des systèmes autonomes. Des travaux antérieurs avaient documenté la vulnérabilité des agents embarqués aux jailbreaks visuels ou textuels, mais sans cadre d'évaluation reproductible. Alors que des fabricants comme Boston Dynamics, Unitree ou, côté européen, Enchanted Tools intègrent des VLMs en production, la robustesse adversariale est appelée à devenir une exigence réglementaire dans les secteurs logistique, manufacturier et médical. RoboJailBench pose une base commune sur laquelle industriels et académiques peuvent s'appuyer pour standardiser ces tests avant mise en service.

UELe benchmark RoboJailBench, ancré dans les normes ISO, fournit aux intégrateurs européens, dont Enchanted Tools (France) qui déploie des VLMs en production, un cadre standardisé pour qualifier la robustesse adversariale avant mise en service sous les exigences de l'AI Act.

Societe/EthiqueOpinion
1 source