RecherchearXiv cs.RO 24 septembre 2026

Coordination multi-robots sécurisée par raisonnement VLM-LLM et analyse d'atteignabilité

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs décrivent, dans un article publié sur arXiv (référence 2609.27816v1), une architecture centralisée de coordination sécurisée pour des équipes hétérogènes de robots mobiles communiquant en machine-to-machine. Le système testé associe un quadrupède équipé de caméra et un véhicule robotique dépourvu de caméra, qui doivent atteindre conjointement une zone objectif tout en évitant des obstacles statiques et dynamiques et en prévenant les interactions dangereuses entre eux. Le quadrupède transmet sa compréhension sémantique de l'environnement à un serveur centralisé via un broker MQTT, ce qui permet au véhicule sans caméra de naviguer à partir de cette représentation partagée combinée à sa propre odométrie, ses centrales inertielles (IMU) et ses retours d'état. Un modèle vision-langage (VLM) interprète le flux vidéo et convertit les données sémantiques en contraintes géométriques métriques conservatives : ensembles d'obstacles dilatés, corridors sûrs et zones cibles. Un grand modèle de langage (LLM) propose ensuite une répartition des tâches de haut niveau, mais l'autorité d'exécution des commandes reste conditionnée à un filtre de vérification spécifique à chaque robot, fondé sur l'analyse d'atteignabilité par zonotopes, qui propage des tubes atteignables indépendants pour valider l'évitement d'obstacles, le confinement dans les corridors sûrs et la séparation entre robots avant d'approuver tout mouvement. Des expériences en conditions réelles, sur des scénarios à chemin dégagé et à obstacles dynamiques, montrent que le pipeline approuve de façon fiable les mouvements sûrs et déclenche une replanification conservative ou un arrêt temporaire dès qu'une contrainte est violée.

Ce travail illustre une tendance de fond en robotique multi-agents : coupler des modèles VLM et LLM, puissants mais non vérifiables formellement, à une couche de sécurité mathématiquement garantie, seule détentrice de l'autorité d'exécution. Pour les intégrateurs et décideurs qui envisagent des flottes hétérogènes (robots à pattes, AMR, bras manipulateurs) partageant un même espace de travail, l'article répond à une limite récurrente des approches de planification robotique purement fondées sur des modèles de langage : l'absence de garanties de sécurité. En séparant strictement le raisonnement sémantique consultatif de l'exécution motrice vérifiée, l'architecture traite explicitement l'écart entre démonstration et fiabilité opérationnelle, un enjeu central pour tout déploiement de systèmes robotiques pilotés par IA générative dans des environnements partagés avec des humains ou d'autres machines.

Cette publication s'inscrit dans un courant de recherche qui cherche à exploiter VLM et LLM pour la perception et la planification robotique tout en compensant leur manque de garanties par des méthodes de vérification formelle issues du contrôle, comme l'analyse d'atteignabilité par zonotopes, déjà employée pour certifier des systèmes autonomes critiques. Il s'agit d'une preuve de concept académique, testée en expériences réelles sur une paire de plateformes physiques plutôt qu'en simulation seule, ce qui la distingue de nombreuses démonstrations purement simulées du domaine. Aucun acteur européen n'apparaît dans cette publication, et les auteurs ne fixent aucun calendrier de transfert industriel, mais l'approche pourrait intéresser les fournisseurs de flottes multi-robots hétérogènes, notamment en logistique et en industrie, cherchant à certifier la sécurité d'interactions entre plateformes aux capacités de perception très différentes.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage par renforcement contraint par la sécurité avec vérification d'atteignabilité post-entraînement pour la navigation robotique

Des chercheurs ont publié sur arXiv (2605.14174) un framework combinant apprentissage par renforcement contraint par le CVaR (Conditional Value-at-Risk) et vérification formelle post-entraînement pour la navigation sûre de robots mobiles en environnement encombré. La politique est entraînée sur un algorithme TD3 off-policy (Twin Delayed Deep Deterministic Policy Gradient) sous contraintes CVaR sur les coûts cumulés, ce qui la rend sensible aux événements rares à haute conséquence plutôt qu'aux seules performances moyennes. Après l'entraînement, des ensembles d'actions atteignables sont calculés sous incertitude d'observation bornée via une analyse par modèles de Taylor, produisant un taux de sécurité formel et quantifiable. Sur dix scénarios de navigation et six baselines concurrents, la méthode atteint 98,3 % de succès et le meilleur taux de vérification formelle parmi toutes les approches évaluées. La validation a été conduite sur un robot physique Clearpath Jackal, confirmant le transfert sim-to-real. Le résultat le plus significatif est une divergence démontrée entre classements par coût moyen et classements par vérification d'atteignabilité : un système jugé performant selon les métriques empiriques classiques peut dissimuler des comportements dangereux dans les queues de distribution. C'est un point critique pour les intégrateurs et les décideurs industriels qui qualifient leurs politiques de navigation sur des benchmarks de coût moyen. Les politiques entraînées avec contraintes CVaR maintiennent des marges de sécurité plus larges face aux obstacles, ce qui les rend structurellement plus compatibles avec la vérification formelle, prérequis pour une certification dans des secteurs réglementés comme la logistique, l'industrie ou la santé. Le CVaR, outil de la finance quantitative pour quantifier le risque de queue, s'impose progressivement dans les systèmes cyber-physiques. Ce travail reste une preprint arXiv, pas encore soumise à peer review. L'espace concurrent rassemble les approches par barrières de contrôle (CBF-QP), le RL lagrangien et les méthodes de Lyapunov. La vérification formelle de réseaux de neurones, portée par des outils comme alpha,beta-CROWN, est un axe en développement rapide. Des plateformes AMR comme celles de Clearpath (utilisée ici en validation) ou, côté français, des acteurs logistiques comme Exotec pourraient directement bénéficier de ce type de pipeline de validation. Les suites naturelles seraient une évaluation en environnements dynamiques avec obstacles mobiles et une soumission à une conférence majeure comme ICRA ou IROS.

UELes acteurs logistiques et industriels européens, dont Exotec en France, pourraient directement intégrer ce type de pipeline de validation formelle pour certifier leurs politiques de navigation AMR dans des secteurs réglementés (logistique, santé, industrie).

RecherchePaper

1 source

2arXiv cs.RO

Coordination multi-LLM médiée par un vérificateur pour la planification de trajectoires multi-robots

Des chercheurs proposent une architecture de coordination où plusieurs planificateurs fondés sur des grands modèles de langage (LLM) pilotent une équipe de robots, avec un vérificateur géométrique chargé de contrôler la faisabilité physique des plans. Le travail, publié sur arXiv (2610.12761), compare deux approches pour la navigation multi-robots. Dans la première, centralisée, un seul LLM raisonne conjointement sur toute l'équipe. Dans la seconde, décentralisée, chaque robot dispose de son propre LLM, qui propose indépendamment un plan de tâches. Le vérificateur convertit ensuite ces plans symboliques en trajectoires, prédit les conflits entre robots (collisions, occupation simultanée d'un même espace) et renvoie aux LLM un retour structuré pour un replanification ciblée, sur plusieurs itérations. Les expériences ont lieu dans le simulateur de conduite CARLA et sur des drones Crazyflie, en faisant croître la complexité des tâches. Le résumé publié ne donne aucun chiffre de performance, de taux de réussite ni de taille d'équipe. L'enjeu est un défaut bien connu des planificateurs à base de modèles de fondation : des plans corrects pris isolément peuvent devenir incompatibles une fois ancrés dans la géométrie, à cause des contraintes spatiales et temporelles partagées. Séparer le raisonnement sémantique de la faisabilité d'exécution revient à admettre qu'un LLM ne doit pas être seul garant de la sécurité d'une flotte. Pour les intégrateurs de flottes d'AMR, de drones ou de robots mobiles, c'est un schéma réutilisable : le LLM propose, un module déterministe dispose. L'étude cherche aussi à caractériser les compromis entre raisonnement centralisé, coordination décentralisée et exécutabilité physique. Elle pourrait donc indiquer à quelle complexité l'approche centralisée cesse de tenir. Cela concerne directement les architectures d'orchestration, où le choix entre un planificateur unique et des agents par robot pèse sur la latence, la robustesse aux pannes et le coût d'inférence. Sans résultats quantitatifs dans le résumé, ces bénéfices restent à vérifier dans l'article complet. Ces travaux s'inscrivent dans la vague des planificateurs de tâches fondés sur des LLM pour la robotique, qui a surtout été évaluée en mono-robot ou sur des tâches symboliques sans contraintes géométriques serrées. Le recours à un vérificateur externe rejoint les approches neuro-symboliques de type « LLM plus solveur », déjà répandues en planification. La validation sur Crazyflie, un micro-drone très utilisé en recherche, reste un banc d'essai de laboratoire, loin d'un déploiement industriel. La suite logique serait de tester des équipes plus nombreuses, des environnements dynamiques et des robots hétérogènes. Il faudrait aussi mesurer le nombre d'itérations de replanification nécessaires et leur coût en temps de calcul, deux critères décisifs pour tout usage en entrepôt ou en logistique.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Raisonnement spatial et sémantique pour la navigation robotique pilotée par LLM via MCP

Une équipe de recherche présente un framework qui connecte les grands modèles de langage (LLM) à la navigation robotique sous ROS (Robot Operating System) via le Model Context Protocol (MCP), protocole standardisé pour exposer des outils aux LLM. L'article, publié sur arXiv (2609.27340), décrit une couche de représentation orientée navigation qui transforme les grilles d'occupation (occupancy grids), des messages géométriques bruts habituellement illisibles pour un LLM, en images métriques annotées de la pose du robot. Un module d'annotation sémantique enregistre en parallèle des observations au niveau des points de passage (waypoints) avec les poses associées. Le système a été évalué sur trois tâches en environnement intérieur simulé : cartographie autonome, navigation par raisonnement spatial et navigation par raisonnement sémantique. Résultat rapporté : plus de 97% de couverture de carte, avec une sélection correcte des cibles de navigation à partir d'instructions en langage naturel, sans modification de la pile de navigation ROS existante ni développement de wrapper spécifique au robot. Cette approche répond à un verrou concret pour les intégrateurs robotiques : jusqu'ici, brancher un LLM sur un système de navigation existant exigeait souvent une interface sur mesure par robot, ce qui limitait fortement la réutilisation entre plateformes. En s'appuyant sur MCP comme couche d'abstraction standardisée, n'importe quel LLM compatible peut interroger la carte et l'historique sémantique sans intégration propriétaire, ce qui va dans le sens d'une industrialisation plus rapide des couches cognitives ajoutées aux stacks ROS déjà déployées en usine ou en entrepôt. Cela nourrit aussi le débat sur la capacité réelle des architectures VLA et des LLM à raisonner spatialement à partir de représentations non natives, plutôt que sur des données d'entraînement dédiées. Il faut toutefois noter que les résultats restent obtenus en simulation, sur un nombre de tâches limité, et non validés sur robot physique ni en environnement industriel réel. Le travail s'inscrit dans la tendance plus large d'associer LLM et piles ROS classiques sans les réécrire, une problématique déjà adressée par des approches de type prompt engineering ou fine-tuning spécifique, mais rarement via un protocole d'outils générique comme MCP, popularisé initialement pour connecter des LLM à des applications logicielles. Les auteurs ne mentionnent pas de partenaire industriel ni de calendrier de déploiement réel ; la prochaine étape logique, non annoncée ici, serait une validation sur robot physique et une comparaison avec d'autres backends LLM ou plateformes de navigation.

RecherchePaper

1 source

4arXiv cs.RO

Activation rapide des filtres de sécurité par expansion d'atteignabilité en une étape

Un preprint publié sur arXiv le 17 septembre 2026 (arXiv:2609.17904v1) corrige un défaut des filtres de sécurité « least-restrictive » fondés sur la reachability de Hamilton-Jacobi, une technique qui garantit mathématiquement qu'un robot évite tout état dangereux en ne reprenant le contrôle, au détriment du contrôleur nominal, qu'à la frontière d'un ensemble interdit appelé Backward Reachable Tube (BRT). Cette garantie suppose un temps continu, alors que les robots commandent en réalité à intervalles d'échantillonnage discrets : entre deux mises à jour, le système peut sauter directement dans le BRT sans jamais toucher sa frontière, provoquant des échecs que la théorie continue jugeait pourtant évitables. La solution proposée calcule un BRT étendu d'un pas de temps, qui anticipe tous les états capables d'atteindre le véritable BRT en une seule période d'échantillonnage, et déclenche l'intervention de sécurité dès cette frontière élargie plutôt que l'originale. Ce nouvel ensemble se formule comme un problème de reachability modifié, résoluble avec les solveurs continus standards déjà utilisés, sans outil de calcul supplémentaire. Les filtres HJ équipent déjà des systèmes critiques en robotique aérienne, conduite autonome et manipulation, où ils servent de dernier rempart contre les collisions et les états irrécupérables ; un déclenchement trop tardif, dû au simple échantillonnage discret d'un contrôleur embarqué, ouvre une brèche invisible en simulation continue mais bien réelle sur le terrain, illustration classique de l'écart entre garantie théorique et comportement en exploitation. Pour les intégrateurs et les équipes de sécurité fonctionnelle qui cadencent leurs boucles de contrôle à fréquence finie, le correctif est directement actionnable puisqu'il ne nécessite ni nouvelle architecture de filtre ni nouveau contrôleur. Le papier ne règle pas l'ensemble du fossé simulation-réel des systèmes robotiques, mais comble une faille précise dans la chaîne de garanties formelles, à un moment où la certification de sécurité devient un critère d'achat pour les robots humanoïdes et les AMR partageant leur espace avec des humains. Ce travail prolonge la reachability de Hamilton-Jacobi, cadre mathématique popularisé notamment par les travaux de Claire Tomlin à Berkeley et devenu un outil standard de contrôle sûr pour drones, véhicules autonomes et bras robotiques, aux côtés d'approches concurrentes comme les control barrier functions. Le décalage entre temps continu et temps discret qu'il traite est connu de la communauté et jusqu'ici atténué par des marges de sécurité conservatrices, jugées ici insuffisamment rigoureuses. L'abstract ne mentionne aucune implémentation sur robot physique ni benchmark chiffré : il s'agit à ce stade d'une contribution méthodologique validée mathématiquement, pas d'un produit déployé, la suite logique étant sa validation sur des plateformes réelles fonctionnant à fréquence de contrôle limitée.

RecherchePaper

1 source