Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IndoorR2X : coordination robot-vers-tout en intérieur pilotée par LLM
RecherchearXiv cs.RO 

IndoorR2X : coordination robot-vers-tout en intérieur pilotée par LLM

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article de recherche arXiv (2603.20182v4) présente IndoorR2X, un benchmark et un framework de simulation pour la planification multi-robots pilotée par des grands modèles de langage (LLM), avec perception et communication de type "Robot-to-Everything" (R2X) en environnement intérieur. Le système combine les observations de robots mobiles avec celles de capteurs IoT statiques déjà présents dans de nombreux bâtiments, comme des caméras, pour construire un état sémantique global de la scène. Cette architecture permet une compréhension de l'environnement à l'échelle du bâtiment, dépassant ce qu'un seul robot ou même une flotte en communication robot-à-robot (R2R) peut percevoir. Le framework propose des environnements de simulation configurables, des dispositions de capteurs, des compositions d'équipes robotiques et des suites de tâches, afin d'évaluer systématiquement différentes stratégies de coordination sémantique via planification LLM.

L'enjeu principal que cible IndoorR2X est un problème connu de la robotique multi-agents : la communication R2R seule ne résout pas l'observabilité partielle sans exploration coûteuse ou sans multiplier le nombre de robots déployés. En exploitant des capteurs IoT déjà installés (caméras de bâtiment notamment), l'approche réduit l'exploration redondante et améliore l'efficacité et la fiabilité de la coordination, selon les auteurs. Pour les intégrateurs et opérateurs de flottes AMR en entrepôt ou en environnement industriel, cela ouvre une piste concrète pour réduire les coûts d'infrastructure robotique en réutilisant l'instrumentation IoT existante plutôt que de multiplier les capteurs embarqués.

Ce travail s'inscrit dans la vague de recherche récente combinant LLM et planification robotique multi-agents, où la coordination sémantique de haut niveau reste un défi ouvert face aux limites de perception embarquée. Il s'agit ici d'un outil de recherche et de benchmarking, pas d'un système commercial déployé : les auteurs eux-mêmes documentent les modes d'échec observés dans leurs expériences, signe que la coordination LLM-robots-IoT reste à un stade exploratoire. Le projet, dont le code et les détails sont disponibles sur une page dédiée, vise à devenir une référence pour comparer les futures stratégies de coordination sémantique entre robots et capteurs ambiants.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Coordination multi-LLM médiée par un vérificateur pour la planification de trajectoires multi-robots
1arXiv cs.RO 

Coordination multi-LLM médiée par un vérificateur pour la planification de trajectoires multi-robots

Des chercheurs proposent une architecture de coordination où plusieurs planificateurs fondés sur des grands modèles de langage (LLM) pilotent une équipe de robots, avec un vérificateur géométrique chargé de contrôler la faisabilité physique des plans. Le travail, publié sur arXiv (2610.12761), compare deux approches pour la navigation multi-robots. Dans la première, centralisée, un seul LLM raisonne conjointement sur toute l'équipe. Dans la seconde, décentralisée, chaque robot dispose de son propre LLM, qui propose indépendamment un plan de tâches. Le vérificateur convertit ensuite ces plans symboliques en trajectoires, prédit les conflits entre robots (collisions, occupation simultanée d'un même espace) et renvoie aux LLM un retour structuré pour un replanification ciblée, sur plusieurs itérations. Les expériences ont lieu dans le simulateur de conduite CARLA et sur des drones Crazyflie, en faisant croître la complexité des tâches. Le résumé publié ne donne aucun chiffre de performance, de taux de réussite ni de taille d'équipe. L'enjeu est un défaut bien connu des planificateurs à base de modèles de fondation : des plans corrects pris isolément peuvent devenir incompatibles une fois ancrés dans la géométrie, à cause des contraintes spatiales et temporelles partagées. Séparer le raisonnement sémantique de la faisabilité d'exécution revient à admettre qu'un LLM ne doit pas être seul garant de la sécurité d'une flotte. Pour les intégrateurs de flottes d'AMR, de drones ou de robots mobiles, c'est un schéma réutilisable : le LLM propose, un module déterministe dispose. L'étude cherche aussi à caractériser les compromis entre raisonnement centralisé, coordination décentralisée et exécutabilité physique. Elle pourrait donc indiquer à quelle complexité l'approche centralisée cesse de tenir. Cela concerne directement les architectures d'orchestration, où le choix entre un planificateur unique et des agents par robot pèse sur la latence, la robustesse aux pannes et le coût d'inférence. Sans résultats quantitatifs dans le résumé, ces bénéfices restent à vérifier dans l'article complet. Ces travaux s'inscrivent dans la vague des planificateurs de tâches fondés sur des LLM pour la robotique, qui a surtout été évaluée en mono-robot ou sur des tâches symboliques sans contraintes géométriques serrées. Le recours à un vérificateur externe rejoint les approches neuro-symboliques de type « LLM plus solveur », déjà répandues en planification. La validation sur Crazyflie, un micro-drone très utilisé en recherche, reste un banc d'essai de laboratoire, loin d'un déploiement industriel. La suite logique serait de tester des équipes plus nombreuses, des environnements dynamiques et des robots hétérogènes. Il faudrait aussi mesurer le nombre d'itérations de replanification nécessaires et leur coût en temps de calcul, deux critères décisifs pour tout usage en entrepôt ou en logistique.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Navigation par apprentissage pour robots mobiles en intérieur
2arXiv cs.RO 

Navigation par apprentissage pour robots mobiles en intérieur

Des chercheurs ont publié sur arXiv (référence 2605.30468) un framework de navigation hybride pour robots mobiles intérieurs, combinant un planificateur global neuronal et un planificateur local affiné par apprentissage par renforcement. Le planificateur global est un réseau de neurones supervisé, entraîné à partir de trajectoires générées par un algorithme A* pondéré par les coûts, ce qui lui permet de produire des routes globalement cohérentes et évitant les zones dangereuses. Le planificateur local, baptisé Learning-Based DWA, reformule l'approche classique Dynamic Window Approach (DWA) comme un problème de sélection discrète sur une grille d'actions prédéfinies. La politique locale est d'abord initialisée par clonage comportemental (imitation d'un expert), puis optimisée par Proximal Policy Optimization (PPO) avec un masquage de faisabilité, un mécanisme éliminant les actions physiquement irréalisables ou à risque de collision avant même l'exploration. Les résultats expérimentaux, conduits en simulation et en environnement réel intérieur, montrent une navigation sûre et fiable vers des objectifs en présence d'obstacles. L'intérêt de cette contribution réside dans son positionnement hybride : plutôt que d'abandonner DWA au profit d'une approche entièrement apprise, les auteurs l'utilisent comme squelette structurant pour contraindre le problème d'apprentissage. Ce choix de conception présente deux avantages pour les intégrateurs. D'abord, le masquage de faisabilité réduit l'espace d'exploration du policy gradient aux seules actions physiquement admissibles, limitant les comportements dangereux en phase d'apprentissage et facilitant le transfert sim-to-réel. Ensuite, conserver la logique DWA comme substrat rend la politique plus interprétable qu'un réseau boîte noire, un critère non négligeable pour les déploiements industriels soumis à certification. La méthode démontre qu'un classique de la robotique réactive, largement jugé dépassé par les approches end-to-end, peut encore être un socle pertinent pour des pipelines d'apprentissage modernes. Le DWA a été introduit par Fox, Burgard et Thrun en 1997 et reste une brique fondamentale des stacks de navigation ROS et Nav2, déployés sur une large partie des flottes d'AMR (robots mobiles autonomes) industriels actuels. C'est dans cet écosystème très installé que s'inscrit ce travail, face à des approches concurrentes plus radicales : navigation end-to-end par apprentissage (ETH Zurich, MIT CSAIL), planificateurs à modèle comme TEB ou MPPI, et méthodes VLA émergentes pour la navigation en langage naturel. Les auteurs annoncent la mise à disposition du code source sur leur page projet. Aucun partenaire industriel ni déploiement commercial n'est mentionné : il s'agit d'une contribution de recherche académique, pas d'un produit commercialisé.

RecherchePaper
1 source
Coordination multi-robots sécurisée par raisonnement VLM-LLM et analyse d'atteignabilité
3arXiv cs.RO 

Coordination multi-robots sécurisée par raisonnement VLM-LLM et analyse d'atteignabilité

Des chercheurs décrivent, dans un article publié sur arXiv (référence 2609.27816v1), une architecture centralisée de coordination sécurisée pour des équipes hétérogènes de robots mobiles communiquant en machine-to-machine. Le système testé associe un quadrupède équipé de caméra et un véhicule robotique dépourvu de caméra, qui doivent atteindre conjointement une zone objectif tout en évitant des obstacles statiques et dynamiques et en prévenant les interactions dangereuses entre eux. Le quadrupède transmet sa compréhension sémantique de l'environnement à un serveur centralisé via un broker MQTT, ce qui permet au véhicule sans caméra de naviguer à partir de cette représentation partagée combinée à sa propre odométrie, ses centrales inertielles (IMU) et ses retours d'état. Un modèle vision-langage (VLM) interprète le flux vidéo et convertit les données sémantiques en contraintes géométriques métriques conservatives : ensembles d'obstacles dilatés, corridors sûrs et zones cibles. Un grand modèle de langage (LLM) propose ensuite une répartition des tâches de haut niveau, mais l'autorité d'exécution des commandes reste conditionnée à un filtre de vérification spécifique à chaque robot, fondé sur l'analyse d'atteignabilité par zonotopes, qui propage des tubes atteignables indépendants pour valider l'évitement d'obstacles, le confinement dans les corridors sûrs et la séparation entre robots avant d'approuver tout mouvement. Des expériences en conditions réelles, sur des scénarios à chemin dégagé et à obstacles dynamiques, montrent que le pipeline approuve de façon fiable les mouvements sûrs et déclenche une replanification conservative ou un arrêt temporaire dès qu'une contrainte est violée. Ce travail illustre une tendance de fond en robotique multi-agents : coupler des modèles VLM et LLM, puissants mais non vérifiables formellement, à une couche de sécurité mathématiquement garantie, seule détentrice de l'autorité d'exécution. Pour les intégrateurs et décideurs qui envisagent des flottes hétérogènes (robots à pattes, AMR, bras manipulateurs) partageant un même espace de travail, l'article répond à une limite récurrente des approches de planification robotique purement fondées sur des modèles de langage : l'absence de garanties de sécurité. En séparant strictement le raisonnement sémantique consultatif de l'exécution motrice vérifiée, l'architecture traite explicitement l'écart entre démonstration et fiabilité opérationnelle, un enjeu central pour tout déploiement de systèmes robotiques pilotés par IA générative dans des environnements partagés avec des humains ou d'autres machines. Cette publication s'inscrit dans un courant de recherche qui cherche à exploiter VLM et LLM pour la perception et la planification robotique tout en compensant leur manque de garanties par des méthodes de vérification formelle issues du contrôle, comme l'analyse d'atteignabilité par zonotopes, déjà employée pour certifier des systèmes autonomes critiques. Il s'agit d'une preuve de concept académique, testée en expériences réelles sur une paire de plateformes physiques plutôt qu'en simulation seule, ce qui la distingue de nombreuses démonstrations purement simulées du domaine. Aucun acteur européen n'apparaît dans cette publication, et les auteurs ne fixent aucun calendrier de transfert industriel, mais l'approche pourrait intéresser les fournisseurs de flottes multi-robots hétérogènes, notamment en logistique et en industrie, cherchant à certifier la sécurité d'interactions entre plateformes aux capacités de perception très différentes.

RecherchePaper
1 source
IndoorBEV : un système léger de perception BEV par LiDAR en temps réel pour robots mobiles d'intérieur
4arXiv cs.RO 

IndoorBEV : un système léger de perception BEV par LiDAR en temps réel pour robots mobiles d'intérieur

Des chercheurs publient sur arXiv (2610.00355) IndoorBEV, un système de perception LiDAR conçu pour les robots mobiles d'intérieur. Le modèle ne compte que 0,6 million de paramètres et occupe 2,3 Mo de stockage. Sur un NVIDIA AGX Orin, il consomme 21,52 Mo de mémoire GPU par inférence et affiche une latence moyenne de 169,6 ms, pour une échéance de perception fixée à 200 ms. Le taux de dépassement de cette échéance est de 1,8 %. Le système produit simultanément des cartes sémantiques en vue de dessus (BEV, bird's-eye view) et des boîtes englobantes orientées pour les objets. Il repose sur une représentation BEV « consciente de la hauteur » : pour chaque cellule, la distribution verticale des points est résumée par des statistiques de hauteur et un encodage multi-fréquence, ce qui permet à de simples convolutions 2D de traiter une information 3D. Un encodeur léger fusionne ces indices géométriques avec des représentations locales multi-échelles et un contexte global compact, puis des têtes de prédiction découplées génèrent les sorties. L'évaluation couvre des scènes simulées, des scans réels de robots et un jeu de données ouvert de nuages de points d'intérieur. L'enjeu est très concret pour les intégrateurs et les équipes qui embarquent de la perception sur des plateformes à budget calcul limité. Les méthodes à base de points ou de voxels restent coûteuses, tandis que les BEV classiques, issus surtout de la conduite autonome, sacrifient la géométrie verticale, un handicap dans des intérieurs encombrés où tables, étagères, suspensions et objets en surplomb comptent. Avec un modèle de 2,3 Mo, IndoorBEV laisse l'essentiel du GPU disponible pour la navigation, la planification ou d'autres réseaux sur la même machine. Les auteurs affirment ainsi qu'encoder explicitement la hauteur dans une représentation 2D compacte est une voie viable. Quelques réserves s'imposent : il s'agit d'une préimpression non relue par les pairs, une latence moyenne de 169,6 ms sous une échéance de 200 ms laisse une marge mince, soit environ 6 images par seconde, ce qui est modeste pour un robot rapide, et le résumé ne donne aucun chiffre de précision, ni comparaison chiffrée avec des modèles concurrents. L'affirmation d'un « compromis favorable » reste donc à vérifier dans l'article complet. Ce travail s'inscrit dans la série des architectures BEV, popularisées par la conduite autonome (PointPillars, BEVFusion) et désormais adaptées aux contraintes de l'embarqué. Le choix de l'AGX Orin, plateforme de référence pour la robotique mobile, rend les résultats comparables à ce que les intégrateurs déploient réellement. Les concurrents sont les réseaux voxel creux et les approches point à point, plus précis mais plus lourds, ainsi que les modèles de fondation de perception 3D, qui visent la généralité plutôt que la frugalité. Aucune annonce de déploiement industriel, de code ou de pilote n'accompagne la publication à ce stade. La suite logique consisterait à publier des benchmarks comparatifs, à tester le système sur des robots en conditions réelles de logistique ou de service, et à vérifier sa tenue face à des environnements dynamiques et à des capteurs LiDAR de résolutions différentes.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source