RecherchearXiv cs.RO 1 mai 2026

De la requête à l'actuation physique : modélisation holistique des menaces dans les systèmes robotiques pilotés par LLM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (référence 2604.27267) propose la première modélisation unifiée des menaces de sécurité pour les systèmes robotiques autonomes pilotés par des grands modèles de langage (LLM). Les auteurs ont modélisé un robot autonome déployé en architecture edge-cloud sous la forme d'un Data Flow Diagram (DFD) hiérarchique, puis appliqué la méthode STRIDE-per-interaction sur six points de franchissement de frontières de confiance. Cette analyse identifie trois familles de menaces distinctes : les menaces cyber conventionnelles (injections réseau, falsification de données), les menaces adversariales (attaques sur la perception visuelle ou sensorielle) et les menaces conversationnelles (prompt injection, manipulation des sorties du LLM). Trois chaînes d'attaque cross-boundary sont tracées de l'entrée externe jusqu'à l'actionnement physique non sécurisé du robot.

Ce travail est significatif parce qu'il démontre que ces trois catégories de menaces convergent aux mêmes points d'interface architecturale, ce qui invalide l'hypothèse implicite de nombreux intégrateurs selon laquelle les couches perception, planification et actuation peuvent être sécurisées indépendamment. L'étude expose trois failles structurelles distinctes : l'absence de validation sémantique indépendante entre l'entrée utilisateur et la commande d'actionneur, la translation cross-modale de la perception visuelle vers l'instruction LLM, et le franchissement non médié des frontières via les outils côté fournisseur (tool use). Pour un COO industriel ou un intégrateur déployant des robots LLM-enabled en production, ces résultats impliquent que le pipeline perception-planification-actuation constitue une surface d'attaque continue, et non un empilement de composants isolables.

Le contexte est celui d'une intégration accélérée des LLM dans la robotique autonome, portée par des acteurs comme Figure AI, 1X Technologies, Boston Dynamics ou Physical Intelligence (pi0), qui utilisent des architectures VLA (Vision-Language-Action) pour le contrôle haut niveau. Les travaux antérieurs traitaient séparément la cybersécurité robotique, les attaques adversariales sur la perception et la sécurité des LLM, sans modèle architectural unifié. Cette étude, encore au stade preprint et non évaluée par les pairs, comble ce vide méthodologique et devrait alimenter les discussions dans les groupes de standardisation (ISO TC 299, IEC) sur la certification des systèmes robotiques cognitifs. Les auteurs ne précisent pas d'affiliations institutionnelles spécifiques ni de financements dans l'abstract.

Impact France/UE

Cette étude devrait alimenter les groupes de standardisation européens (IEC, ISO TC 299) travaillant sur la certification des systèmes robotiques cognitifs dans le cadre de l'AI Act, en fournissant une méthodologie unifiée manquante.

Dans nos dossiers

Figure 1X Technologies Boston Dynamics Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Quand la coordination devient une menace : attaques de communication dans les systèmes multi-robots pilotés par LLM

Des chercheurs publient sur arXiv (2608.06830v1) une étude formalisant deux attaques de communication visant les systèmes multi-robots pilotés par des grands modèles de langage (LLM) : l'attaque par point d'entrée externe et l'attaque par accès privilégié interne. Testées sur trois architectures, le système décentralisé DMAS et les architectures hiérarchiques HMAS-1 et HMAS-2, avec trois LLM et cinq tâches robotiques incarnées, elles révèlent une propagation quasi systématique des informations dangereuses vers des actions dangereuses. Sur DMAS, un message malveillant est accepté à l'entrée dans 96,7% des cas et activé ensuite dans 100% des cas ; sur HMAS-1, le taux de réussite des actions dangereuses atteint 97,8% ; sur HMAS-2, 88,3% des créneaux d'actions dangereuses prédéfinis sont déclenchés. Les auteurs proposent une défense, le CPV Gate, qui vérifie la provenance des informations avant réutilisation et fait chuter le taux de violation de 70,0% à 36,6%. L'étude révèle une faille structurelle dans le déploiement de flottes robotiques coordonnées par des LLM : la sécurité s'est jusqu'ici concentrée sur les robots isolés, alors qu'un seul message compromis, injecté depuis l'extérieur ou via un accès interne privilégié, peut se propager en cascade jusqu'à des actions physiques dangereuses, quelle que soit l'architecture de communication. Pour les intégrateurs et décideurs B2B envisageant des déploiements multi-robots en logistique ou en industrie, ce résultat contredit l'idée qu'un LLM individuel robuste suffit à sécuriser un système collectif, et impose de repenser la confiance entre agents avant tout déploiement à l'échelle. Les travaux antérieurs s'étaient limités à des analyses préliminaires centrées sur l'architecture DMAS, sans établir si ces failles persistaient dans les architectures hiérarchiques plus courantes en pratique. En couvrant DMAS, HMAS-1 et HMAS-2, cette étude comble cette lacune et compare systématiquement les risques selon le niveau d'accès de l'attaquant. Le CPV Gate n'élimine pas la menace : son taux de violation résiduel de 36,6% suggère que d'autres couches de défense, authentification des agents, limitation des privilèges, audit en temps réel, restent nécessaires avant un déploiement industriel à grande échelle.

RechercheActu

1 source

2arXiv cs.RO

IA à base d'agents, pilotée par LLM : synthèse d'actions robotiques à partir de la parole, des gestes et de la musique

Des chercheurs publient sur arXiv (arXiv:2606.31158, soumission nouvelle non encore validée par les pairs) un framework qui utilise un grand modèle de langage (LLM) pour générer des actions robotiques à partir d'entrées humaines multimodales combinant parole naturelle, gestes de la main et musique ou rythme sonore. L'architecture assemble trois briques : un module de transcription vocale, un module de reconnaissance de gestes, et un pipeline de traitement du signal dédié à la détection de battements musicaux. Ces flux sont contextualisés via des templates de prompts, puis transmis à un LLM qui, informé d'un espace d'actions robotiques prédéfini, raisonne sur l'ensemble pour produire une séquence d'actions cohérente. Cette séquence alimente une file d'exécution pilotée via ROS (Robot Operating System) sur un robot quadrupède. L'abstract ne précise ni le modèle de LLM utilisé, ni de métriques de performance chiffrées, ni le nom commercial du robot testé : à ce stade, il s'agit d'une preuve de concept méthodologique documentée dans un preprint, pas d'un produit ou d'un déploiement. L'intérêt tient à la fusion de trois canaux hétérogènes dans un seul raisonnement : commandes sémantiques issues de la parole, information déictique (pointage, direction) issue des gestes, et cues rythmiques issues de la musique. Cela dépasse les systèmes de commande rigides et pré-programmés qui dominent encore l'interaction homme-robot (HRI), et s'inscrit dans la tendance plus large consistant à confier aux LLM le rôle de "cerveau de raisonnement" pour des comportements robotiques créatifs et contextuels, plutôt que pour la seule manipulation d'objets. Ce type d'approche vise davantage les robots d'accueil, de divertissement ou compagnons sociaux que l'industrie lourde, le quadrupède servant ici de plateforme de démonstration générique. Le travail s'inscrit dans la vague récente de recherches associant LLM et VLA (vision-language-action) à la robotique, aux côtés d'efforts comme GR00T N2 ou Pi-0 orientés manipulation. Ce papier se distingue en ciblant spécifiquement l'interaction créative multimodale plutôt que la tâche industrielle. L'abstract ne mentionne ni affiliation ni auteurs identifiables, ni calendrier de suite ; les prochaines étapes attendues pour ce type de travail restent une évaluation utilisateur et l'extension à d'autres morphologies de robots.

RecherchePaper

1 source

3arXiv cs.RO

Une théorie généralisée de la répartition de charge dans les systèmes robotiques à actionnement redondant

Un article publié sur arXiv (référence 2603.11431v2, version corrigée d'une soumission antérieure) présente une théorie généralisée de la distribution des charges dans les corps rigides manipulés par des systèmes robotiques à actionnement redondant, composés de plusieurs chaînes cinématiques fermées indépendantes, comme une main multidoigts, des robots à pattes ou des bras coopérants tenant un même objet. Les auteurs caractérisent l'ensemble complet des distributions de torseurs (forces et moments) compatibles avec un torseur résultant donné appliqué au corps rigide, et dérivent des solutions explicites aux problèmes de synthèse et d'analyse de torseurs, calculables directement sans méthode numérique itérative ni inversion de grandes matrices, avec un coût de calcul croissant linéairement selon le nombre de torseurs appliqués. Ils relèvent aussi des lacunes dans les approches actuelles de l'état de l'art et proposent des corrections, appuyées par des exemples illustratifs et une simulation. Cette théorie concerne directement le contrôle de force des mains robotiques multidoigts, des robots à pattes, des robots coopérants manipulant une charge commune, et plus largement tout mécanisme surcontraint où le nombre de points de contact ou d'actionneurs dépasse ce qui est strictement nécessaire, rendant la répartition des efforts mathématiquement indéterminée sans hypothèses supplémentaires, un problème classique et non trivial en robotique. Une solution explicite et peu coûteuse en calcul ouvre la voie à un contrôle en temps réel plus robuste pour la préhension complexe, la locomotion des robots à pattes et la manipulation coopérative entre bras, des briques utiles pour les intégrateurs déployant des systèmes de préhension ou des flottes collaboratives. Le constat des auteurs, selon lequel des méthodes de référence actuelles comportent des erreurs, suggère que certaines stratégies de contrôle de force déjà en usage dans l'industrie reposent sur des hypothèses de répartition de charge incorrectes. Il s'agit d'une publication académique sur arXiv, sans entreprise, produit ni déploiement associé, ce qui la distingue nettement des annonces commerciales du secteur robotique. La répartition des efforts dans les systèmes surcontraints est étudiée depuis des décennies en robotique, notamment pour la préhension multidoigt et les robots parallèles, mais généralement traitée au cas par cas selon le type de mécanisme. Les auteurs positionnent leur travail comme une généralisation unifiée couvrant à la fois les mains robotiques, les robots à pattes et les systèmes multi-robots coopérants, plutôt qu'une solution propre à une seule catégorie. Cette version 2 de l'article suggère une itération après retours de la communauté scientifique, mais aucune validation expérimentale sur robot physique au-delà de la simulation n'est mentionnée à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Modélisation physique et contrôle des comportements émergents dans les essaims de robots

Des chercheurs ont déposé le 2 juin 2026 sur arXiv (arXiv:2606.01597) un cadre baptisé PhySwarm pour modéliser et contrôler les comportements collectifs émergents d'essaims de robots. L'approche couple un niveau macroscopique, le modèle Macro-ADR (advection-diffusion-réaction multi-phases), qui décrit l'évolution de la densité spatiale de l'essaim au fil des phases comportementales, à un niveau microscopique, le Micro-EDM, qui traduit ces dynamiques en consignes de déplacement individuel via des champs de potentiel et des transitions d'état gérées par seuils. Un contrôleur neuro-physique (NPC), entraîné par un objectif hybride alliant apprentissage par renforcement (RL) et réseaux de neurones physique-informés (PINN), mappe les observations locales et la mémoire temporelle de chaque robot à des paramètres physiques bornés. Les auteurs valident l'approche sur trois missions en preuve de concept : fourragement guidé par piste, navigation avec reconfiguration de formation, et recherche-sauvetage avec réaffectation dynamique des rôles. L'intérêt principal de PhySwarm est l'interprétabilité des comportements émergents. Contrairement aux méthodes purement neurales où les dynamiques collectives restent des boîtes noires, le cadre produit des champs de densité et des paramètres physiques explicites (coefficients d'advection, de diffusion, taux de transition de phase), permettant d'auditer pourquoi un essaim adopte un comportement donné. Pour les intégrateurs et les décideurs industriels, c'est un levier concret : la capacité à décomposer et à certifier un comportement collectif est un prérequis pour déployer des essaims dans des environnements critiques, logistique entrepôt ou intervention d'urgence. La contrainte PINN force aussi l'apprentissage à rester physiquement cohérent, ce qui réduit théoriquement le fossé simulation-réel (sim-to-real gap), même si toutes les expériences présentées restent en simulation et ne constituent pas encore des déploiements terrain. Le contrôle formel d'essaims est un domaine actif depuis les années 1990, mais la modélisation des comportements multi-phases y reste un problème ouvert. Les approches concurrentes vont de la stigmergie bio-inspirée au multi-agent reinforcement learning (MARL) pur, en passant par les formulations de champ moyen (mean-field games). PhySwarm se positionne à l'intersection physique et deep learning, un créneau également exploré par des équipes d'ETH Zurich, MIT CSAIL et Carnegie Mellon. Du côté industriel, des acteurs comme Exotec (France) pour la logistique entrepôt déploient déjà des flottes de robots sans coordination physique-informée formelle ; ce type de cadre pourrait outiller une prochaine génération de systèmes multi-robots à comportements certifiables.

UEImpact prospectif uniquement : le cadre PhySwarm pourrait à terme outiller des acteurs français comme Exotec pour certifier les comportements de leurs flottes multi-robots, mais aucune institution ou entreprise européenne n'est impliquée dans cette recherche.

RecherchePaper

1 source