RecherchearXiv cs.RO 18 mai 2026

Propagation d'actions dangereuses dans une collaboration multi-robots pilotée par LLM via un seul robot compromis

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (arXiv:2605.15641, mai 2026) un nouveau paradigme d'attaque ciblant les systèmes multi-robots pilotés par des grands modèles de langage (LLM). Le principe : compromettre un seul robot d'un essaim suffit à propager des instructions malveillantes à l'ensemble du système via la communication inter-robots. L'équipe a évalué l'attaque sur trois dimensions à haut risque, abandon de mission, compromission de données privées, et mise en danger de la sécurité publique, en la quantifiant avec trois métriques : obéissance (taux d'exécution des instructions malveillantes), infectiosité (proportion de robots compromis), et furtivité. Les résultats sont nets : le score d'obéissance atteint 1,00 dans les cas les plus défavorables, l'infectiosité monte à 0,90, et l'attaque complète la propagation en seulement 3,0 rounds en moyenne, tout en maintenant un score de furtivité de 0,81. Le code est disponible publiquement sur GitHub (InfectBot).

Ce travail met en évidence un angle mort majeur dans la sécurité des flottes robotiques industrielles et logistiques pilotées par LLM : jusqu'ici, la recherche en sécurité s'était concentrée sur les robots isolés. Or, les architectures multi-robots en production, entrepôts automatisés, chantiers collaboratifs, environnements hospitaliers, reposent précisément sur la communication pair-à-pair pour la coordination. Le mécanisme de consensus qui rend ces systèmes efficaces devient ici un vecteur d'amplification : dans les situations critiques (urgences, conflits de priorité), les instructions adversariales peuvent supplanter les garde-fous de sécurité sans déclencher d'alerte. La persistance du contrôle attaquant (obéissance à 1,00) indique que les alignements de sécurité actuels des planificateurs LLM ne sont pas conçus pour résister à une pression latérale venant d'un pair de confiance.

Les LLM comme planificateurs embarqués sont une tendance lourde : des entreprises comme Figure AI, Physical Intelligence (pi0), Boston Dynamics et Agility Robotics intègrent des couches de raisonnement à haut niveau dans leurs architectures. NVIDIA GR00T N2 et les frameworks VLA (Vision-Language-Action) poussent dans la même direction. Ce paper s'inscrit dans un corpus émergent qui questionne la robustesse de ces systèmes face à des attaques adversariales physiquement concrètes, non plus des jailbreaks textuels, mais des actions dans le monde réel. Les prochaines étapes probables incluent des défenses basées sur la vérification cryptographique des instructions inter-robots et des mécanismes de consensus multi-signatures, pistes déjà explorées dans la robotique en essaim mais rarement couplées aux LLM.

Impact France/UE

Les flottes robotiques LLM déployées en Europe (entrepôts automatisés, industrie, hôpitaux) sont exposées à ce vecteur d'attaque latérale, et l'AI Act impose aux fournisseurs de systèmes à haut risque de documenter et tester leurs mécanismes de sécurité face à ce type de compromission pair-à-pair.

Dans nos dossiers

Figure Boston Dynamics Agility Robotics — Digit NVIDIA GR00T

À lire aussi

1arXiv cs.RO

Quand la coordination devient une menace : attaques de communication dans les systèmes multi-robots pilotés par LLM

Des chercheurs publient sur arXiv (2608.06830v1) une étude formalisant deux attaques de communication visant les systèmes multi-robots pilotés par des grands modèles de langage (LLM) : l'attaque par point d'entrée externe et l'attaque par accès privilégié interne. Testées sur trois architectures, le système décentralisé DMAS et les architectures hiérarchiques HMAS-1 et HMAS-2, avec trois LLM et cinq tâches robotiques incarnées, elles révèlent une propagation quasi systématique des informations dangereuses vers des actions dangereuses. Sur DMAS, un message malveillant est accepté à l'entrée dans 96,7% des cas et activé ensuite dans 100% des cas ; sur HMAS-1, le taux de réussite des actions dangereuses atteint 97,8% ; sur HMAS-2, 88,3% des créneaux d'actions dangereuses prédéfinis sont déclenchés. Les auteurs proposent une défense, le CPV Gate, qui vérifie la provenance des informations avant réutilisation et fait chuter le taux de violation de 70,0% à 36,6%. L'étude révèle une faille structurelle dans le déploiement de flottes robotiques coordonnées par des LLM : la sécurité s'est jusqu'ici concentrée sur les robots isolés, alors qu'un seul message compromis, injecté depuis l'extérieur ou via un accès interne privilégié, peut se propager en cascade jusqu'à des actions physiques dangereuses, quelle que soit l'architecture de communication. Pour les intégrateurs et décideurs B2B envisageant des déploiements multi-robots en logistique ou en industrie, ce résultat contredit l'idée qu'un LLM individuel robuste suffit à sécuriser un système collectif, et impose de repenser la confiance entre agents avant tout déploiement à l'échelle. Les travaux antérieurs s'étaient limités à des analyses préliminaires centrées sur l'architecture DMAS, sans établir si ces failles persistaient dans les architectures hiérarchiques plus courantes en pratique. En couvrant DMAS, HMAS-1 et HMAS-2, cette étude comble cette lacune et compare systématiquement les risques selon le niveau d'accès de l'attaquant. Le CPV Gate n'élimine pas la menace : son taux de violation résiduel de 36,6% suggère que d'autres couches de défense, authentification des agents, limitation des privilèges, audit en temps réel, restent nécessaires avant un déploiement industriel à grande échelle.

RechercheActu

1 source

2arXiv cs.RO

Une théorie cinétique de la propagation d'information par rencontres dans les systèmes multi-robots

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.02296v1) un cadre théorique pour modéliser la propagation d'information dans les essaims de robots mobiles opérant sans connectivité réseau permanente. L'étude aborde le problème via le cas d'usage du suivi de cible (target tracking) : dans ces systèmes, les robots n'échangent des données que lors de rencontres physiques, transformant chaque interaction en un événement de transport d'information. Les auteurs formalisent trois limites structurelles qui gouvernent la performance collective. La première, la limite d'accès, stipule que l'information ne peut coordonner l'équipe que si elle se propage au-delà des robots ayant directement observé la cible. La deuxième, la limite de fraîcheur (staleness), traduit la perte de valeur d'une donnée à mesure que la cible se déplace entre le moment de la collecte et celui de l'utilisation. La troisième, la limite géométrique, correspond au régime de saturation où la vitesse de déplacement de la cible dépasse la capacité de transport d'information du réseau, rendant les améliorations de communication seules sans effet mesurable sur l'erreur de suivi. La validation repose sur des simulations à grande échelle faisant varier la taille de l'équipe, la superficie de la zone d'opération, la portée de communication et la vitesse de la cible. Ce travail apporte une valeur analytique concrète aux concepteurs de systèmes multi-robots déployés dans des environnements dégradés, typiquement la logistique d'entrepôt autonome, la surveillance de périmètre ou les opérations en zone sans infrastructure. La décomposition accès-fraîcheur-géométrie offre aux ingénieurs un outil de diagnostic : avant d'investir dans une augmentation de la portée radio ou de la densité d'agents, il est possible de déterminer quelle limite est effectivement contraignante dans un scénario donné. Le résultat le plus opérationnellement utile est la linéarité locale de la réponse en régime contraint, qui autorise des approximations de conception simples, contrastant avec le comportement non-linéaire observé sur des plages plus larges de paramètres. En pratique, cela signifie qu'un intégrateur AMR ne peut pas simplement extrapoler les performances d'un petit essai pilote à un déploiement à grande échelle sans tenir compte des transitions de régime identifiées ici. Ce papier s'inscrit dans un corpus croissant autour des réseaux robotiques intermittents, un domaine stimulé par les limites des communications sans fil en milieu industriel et la montée en puissance des flottes autonomes hétérogènes. Les approches concurrentes mobilisent généralement soit la théorie des graphes dynamiques (temporal networks), soit les modèles épidémiques pour modéliser la diffusion d'information, tandis que cette contribution emprunte explicitement au formalisme cinétique inspiré de la physique statistique, ce qui en distingue l'angle. Côté acteurs, des laboratoires comme MIT CSAIL, CMU Robotics et ETH Zurich travaillent sur des problématiques connexes de coordination sans infrastructure. En France, des équipes comme celle de l'INRIA sur les systèmes multi-agents embarqués ou les travaux de recherche liés à Exotec sur la coordination de flotte pourraient trouver dans ce cadre des outils théoriques applicables. La prochaine étape naturelle pour ce type de travail est l'intégration dans des boucles de planification de mouvement adaptatives, où la politique de déplacement des robots serait directement optimisée pour maximiser les rencontres informationnellement utiles.

UEDes équipes françaises comme l'INRIA et des industriels comme Exotec pourraient exploiter ce cadre théorique pour dimensionner et diagnostiquer leurs flottes AMR en environnements sans infrastructure réseau permanente, avant de passer à grande échelle.

RecherchePaper

1 source

3arXiv cs.RO

Pilotage du comportement multi-robots par édition affine des activations en boucle fermée

Une équipe de chercheurs a publié le 11 juin 2026 (arXiv:2606.11489) une méthode baptisée CLAE (Closed-Loop Affine Activation Editing), permettant de piloter le comportement d'une flotte de robots sans modifier les poids du modèle de base. Plutôt que de recourir au fine-tuning ou au réentraînement complet de la politique, CLAE intervient à l'inférence en éditant directement les activations intermédiaires du réseau neuronal. Concrètement, la méthode entraîne d'abord un auto-encodeur sparse sur les activations d'une politique gelée, identifie les features latentes pertinentes pour le comportement visé via sondage post-hoc, puis apprend une politique de pilotage légère par renforcement qui applique des transformations affines sur ces latents en temps réel. Les validations portent sur une flotte de quadrotors en simulation et en tests physiques, naviguant vers des positions objectif tout en évitant des obstacles. CLAE y démontre trois capacités distinctes : contrôle du profil de vitesse individuel de chaque appareil, maintien d'une formation configurable entre plusieurs robots, et émergence d'un comportement entièrement nouveau consistant à minimiser l'exposition aux caméras de surveillance présentes dans l'environnement. Ce que cette approche prouve, c'est qu'il est possible de découpler l'adaptation comportementale du cycle de réentraînement, un point structurant pour les intégrateurs industriels et les équipes de déploiement en production. Le risque d'oubli catastrophique, bien documenté lors du fine-tuning de politiques obtenues après des milliers d'heures de simulation, est écarté puisque les poids de base restent intacts. La couche de pilotage est légère et s'adapte en boucle fermée à l'état courant du robot et au contexte multi-agents, ce qui la distingue des approches d'activation patching offline utilisées dans les LLMs. La diversité des comportements obtenus sur une même architecture gelée, de la gestion de formation à l'esquive de surveillance, suggère une généralité de la méthode au-delà des tâches de navigation. Les résultats restent cependant limités aux quadrotors pour l'instant, et la transférabilité à des robots manipulateurs ou humanoïdes n'est pas encore démontrée. CLAE s'inscrit dans un courant de recherche actif autour du steering de réseaux de neurones via sparse autoencoders, popularisé par les travaux d'Anthropic sur l'interpretabilité des LLMs et les techniques d'activation patching dans les transformers. Appliqué à la robotique incarnée, ce paradigme impose une contrainte supplémentaire : la boucle fermée exige des corrections adaptées en temps réel à la dynamique du système, contrairement à l'édition statique en NLP. Parmi les approches concurrentes figurent les méthodes de parameter-efficient fine-tuning (LoRA, adaptateurs), le meta-learning de type MAML et les residual policies. La prochaine étape naturelle serait une validation sur des architectures VLA (Vision-Language-Action), où le coût prohibitif de réentraînement rend encore plus pertinente une solution d'édition à l'inférence, notamment pour les déploiements industriels à grande échelle.

RecherchePaper

1 source

4arXiv cs.RO

Évaluation de la compréhension des collisions dans les modèles vision-langage pour une collaboration homme-robot sécurisée

Une équipe de chercheurs a publié TouchSafeBench (arXiv:2605.31196), un benchmark pour évaluer ce qu'ils nomment le "collision grounding" dans les modèles de vision-langage (VLM) : la capacité à relier des observations visuelles à la géométrie du robot, la disposition de la scène et la proximité humaine pour déduire un contact présent ou imminent. Construit dans le simulateur Habitat 3.0 de Meta, il comprend 2 940 épisodes de coprésence indoor simulés, couvrant navigation sociale et réorganisation spatiale, avec des observations RGB-D multi-vues synchronisées, des cartes de trajectoire top-down et des labels de contact dérivés directement du simulateur. Trois VLMs orientés robotique ou frontier models ont été testés sur neuf représentations visuelles, autour de deux tâches : classifier l'état de sécurité courant et anticiper une collision imminente avant tout contact physique. Le meilleur score moyen Macro-F1 obtenu reste inférieur à 50 %. Ce chiffre souligne une limite fondamentale : la fluidité visuelle n'implique pas la responsabilité physique. Un modèle capable de décrire précisément une scène peut échouer à détecter si un bras robotique effleure un opérateur. Pour les intégrateurs travaillant sur la collaboration homme-robot, le signal est sans ambiguité : les VLMs actuels ne peuvent pas jouer le rôle de moniteurs de sécurité sans couche d'abstraction géométrique explicite. L'étude montre également que le contact robot-scène (obstacles, mobilier) est systématiquement plus difficile à détecter que la proximité humaine, contredisant l'intuition courante. Plus frappant encore : la profondeur RGB-D n'est pas automatiquement convertie en évidence de collision corps-robot, faute de représentation morphologique intégrée dans ces modèles. Ces résultats arrivent au moment où les architectures vision-langage-action (VLA) comme RT-2, OpenVLA ou pi0 de Physical Intelligence s'imposent dans les pipelines robotiques, en pariant sur la généralisation sémantique des VLMs pour piloter manipulateurs et robots mobiles. TouchSafeBench constitue un contrepoids empirique à cet enthousiasme : la généralisation linguistique ne résout pas la conscience géométrique nécessaire à la sécurité fonctionnelle. La plateforme sous-jacente, Habitat 3.0, est développée par Meta AI Research et fait référence en navigation sociale simulée. Le benchmark sera publié à l'acceptation de l'article. Les auteurs identifient comme prochaine étape des représentations liant explicitement point de vue caméra, morphologie du robot et géométrie métrique, potentiellement via des approches hybrides VLM et modèles cinématiques.

UELes intégrateurs européens développant des cobots sous contraintes AI Act doivent intégrer que les VLMs actuels ne sont pas des moniteurs de sécurité fiables sans couche d'abstraction géométrique explicite, ce qui impacte directement les architectures VLA en cours de déploiement industriel.

RecherchePaper

1 source