Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Navigation air-sol collaborative vision-langage pour la navigation via cartes aériennes partagées
RecherchearXiv cs.RO 

Navigation air-sol collaborative vision-langage pour la navigation via cartes aériennes partagées

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2609.03483) un système baptisé AGC-VLN, pour "Air-Ground Collaborative Vision-and-Language Navigation", qui fait collaborer un drone (UAV) offrant une vue aérienne globale et un véhicule terrestre autonome (UGV) doté d'une caméra en vue subjective. Le drone superpose sur sa vue plongeante la position rapportée de l'UGV et la cible identifiée par un modèle vision-langage (VLM), sous forme de repères "CAR" et "GOAL" avec distances, pour construire une carte partagée en vue aérienne. L'UGV s'en sert pour planifier un trajet le long des routes avec un VLM figé, non réentraîné, pendant que le drone exécute en parallèle 3D-SPF, une variante de la méthode de localisation SPF, pour repérer et rejoindre la cible depuis les airs. Sur 100 épisodes en boucle fermée dans la scène Town10HD du simulateur CARLA-Air, le taux de réussite conjoint atteint 77,0%, contre 50,0% pour le drone seul, soit un gain de collaboration de 27,0 points, et dépasse de 24,0 points la meilleure référence mono-agent publiée, Travel UAV (53,0%).

Ce travail comble un angle mort documenté: une évaluation récente sur CARLA-Air portant sur cinq modèles VLA de pointe n'avait trouvé aucune coopération stable entre drone et robot terrestre, la communication sémantique naïve ou le couplage bidirectionnel dégradant même les performances. AGC-VLN propose une architecture sans réentraînement, qui sépare le raisonnement sémantique confié au VLM de l'exécution géométrique déterministe, ouvrant une interface de collaboration exploitable sans données supplémentaires. Pour les intégrateurs qui déploient des flottes hétérogènes drones et robots mobiles, la preuve que le gain vient de la complémentarité des points de vue plutôt que d'un modèle plus puissant plaide pour des architectures multi-agents modulaires plutôt que des VLA monolithiques appliqués robot par robot.

Le papier s'inscrit dans la lignée des méthodes de navigation vision-langage sans entraînement, jusqu'ici cantonnées au mono-agent, et se compare à Travel UAV ainsi qu'à SPF, dont 3D-SPF est une extension. Les auteurs revendiquent la première base de référence "training-free" pour la navigation collaborative air-sol, une affirmation à prendre comme un positionnement plutôt qu'un fait vérifié indépendamment, le domaine restant, de leur propre aveu, largement inexploré. Les résultats reposent uniquement sur simulation, sans essai en conditions réelles ni chiffres de déploiement industriel; le code est publié sur GitHub (ZSN2024/AGC-VLN), laissant ouverte la question du transfert simulation-vers-réel pour des flottes physiques.

Dans nos dossiers

arXiv cs.RO

À lire aussi

AirGroundVLN : un benchmark à grande échelle pour la navigation vision-langage collaborative air-sol orientée vers un objectif
1arXiv cs.RO 

AirGroundVLN : un benchmark à grande échelle pour la navigation vision-langage collaborative air-sol orientée vers un objectif

Des chercheurs publient sur arXiv AirGroundVLN, un benchmark dédié à la navigation guidée par vision et langage (VLN) pour des équipes mixtes drone et robot terrestre. Il regroupe 10 281 épisodes de navigation et 955 instances de cibles réparties sur 19 environnements simulés sous Unreal Engine. Il propose des découpages « vus » et « non vus » pour mesurer la généralisation, ainsi qu'un protocole de visibilité aérienne qui encadre ce que le drone perçoit pendant l'évaluation. Les auteurs livrent aussi AG-CoNAV, un cadre de référence entraînable. Il repose sur deux modules. Le premier, SACM (Spatiotemporally Anchored Collaborative Memory), conserve et retrouve un contexte historique cohérent dans l'espace à partir des observations aériennes et terrestres. Le second, AGRLP (Aerial-Guided Regional-to-Local Planning), combine un guidage régional fourni par la vue aérienne et une navigation fine au sol. Les auteurs annoncent des expériences « extensives » validant AG-CoNAV, mais le résumé ne donne aucun score chiffré. La tâche est de type « goal-oriented » : l'agent doit trouver et atteindre une cible décrite en langage naturel, sans itinéraire prescrit. C'est plus proche d'une mission réelle que le VLN classique, où l'on suit des instructions pas à pas. Le benchmark cible deux difficultés précises. Les vues aérienne et terrestre diffèrent fortement, et des observations utiles disparaissent au fil du déplacement, ce qui complique le maintien d'un contexte spatial cohérent entre plateformes et dans le temps. Par ailleurs, l'observabilité est asymétrique : le sol voit avec précision mais sur un champ limité, tandis que le drone couvre une large zone avec peu de détail local. Ce couple correspond à des usages concrets, comme l'inspection de sites industriels, la logistique extérieure, la recherche et le secours, ou la surveillance de grands entrepôts. Cependant, tout le travail reste en simulation. Aucun transfert sim-to-real n'est démontré, et l'écart entre environnements Unreal et terrain réel, avec ses occlusions, son vent et sa perception bruitée, reste entier. Le benchmark fournit surtout un terrain commun pour comparer des méthodes multi-robots hétérogènes, qui manquait jusqu'ici. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et de la navigation incarnée, qui se sont longtemps concentrés sur un seul agent, au sol ou en vol. Les benchmarks VLN aériens et terrestres existent séparément, mais la collaboration air-sol y était peu étudiée à grande échelle. Aucun acteur industriel ni produit n'est cité, et l'article ne mentionne aucun pilote ni calendrier de déploiement : il s'agit d'une contribution purement académique, au stade de préimpression (v1) et sans évaluation par les pairs. La suite logique consiste à voir si d'autres équipes adoptent le benchmark, si des modèles de fondation généralistes dépassent AG-CoNAV, et si des validations sur matériel réel apparaissent. Les intégrateurs qui suivent les flottes mixtes drones et robots mobiles y trouveront surtout un indicateur de maturité de la recherche, pas encore une technologie déployable.

RecherchePaper
1 source
G2-Nav : cartes de coûts vision-langage ancrées et sécurisées pour la navigation sociale des robots
2arXiv cs.RO 

G2-Nav : cartes de coûts vision-langage ancrées et sécurisées pour la navigation sociale des robots

Des chercheurs présentent G2-Nav, un nouveau framework de navigation sociale pour robots mobiles, détaillé dans un article déposé sur arXiv (2607.16956v1). Plutôt que de laisser un modèle vision-langage (VLM) décider directement des trajectoires, comme le font les approches end-to-end existantes, G2-Nav traduit le raisonnement sémantique du VLM en une costmap vision-langage interprétable. Le modèle identifie les zones traversables et les agents sociaux à partir d'une perception en ensemble ouvert (open-set), puis cartographie ce contexte social sous forme de coûts exploitables par le planificateur. Pour renforcer la robustesse en conditions réelles, le VLM effectue aussi une vérification sémantique sur le suivi (tracking) en amont, et les auteurs ajoutent un contrôle de sécurité à haute fréquence destiné à compenser la latence du système avant la génération de trajectoire. Des expériences en environnement réel, selon les auteurs, montrent une navigation autonome sûre, efficace et socialement conforme dans des espaces non structurés. Le code source doit être publié ultérieurement. L'intérêt de ce travail tient à la faille qu'il cherche à combler entre deux approches jugées insuffisantes pour l'autonomie complète: les frameworks VLM end-to-end, qui produisent des décisions de planification difficiles à auditer et donc risquées à déployer, et les méthodes d'instruction-following, pensées pour suivre des consignes humaines plutôt que pour opérer de façon totalement autonome. En cantonnant le VLM à un rôle d'évaluation sémantique plutôt que de contrôle direct, G2-Nav vise une architecture plus traçable, un enjeu concret pour les intégrateurs et décideurs industriels qui doivent justifier la sécurité de robots évoluant parmi des humains, en entrepôt, en établissement de santé ou en espace public. Le garde-fou de sécurité haute fréquence répond en particulier à un angle mort fréquent des démonstrations VLM: la latence d'inférence, souvent ignorée dans les vidéos promotionnelles du secteur. Ce travail s'inscrit dans la vague de recherche actuelle sur l'usage des VLM pour doter les robots d'un raisonnement de niveau humain en navigation sociale, un domaine où les benchmarks restent encore largement issus de démonstrations contrôlées. L'abstract ne précise ni l'institution porteuse ni le matériel robotique utilisé pour les essais réels, et le code, annoncé comme futur, n'est pas encore disponible: il s'agit donc à ce stade d'un préprint à confirmer par la publication effective et par une évaluation indépendante, plutôt que d'une solution déployée ou commercialisée.

RecherchePaper
1 source
« Cartes sémantiques enrichies par instance pour la navigation en langage visuel »
3arXiv cs.RO 

« Cartes sémantiques enrichies par instance pour la navigation en langage visuel »

Une équipe de recherche (RCI Lab) publie un nouveau framework baptisé Instance-Enriched Semantic Maps pour la navigation par instructions en langage naturel (Visual Language Navigation, VLN), avec trois apports techniques. D'abord, une cartographie 2.5D au niveau instance construite à partir d'images couleur et de profondeur via segmentation panoptique en vocabulaire ouvert, qui préserve les distinctions verticales et capture les petits objets, tout en associant à chaque élément des attributs sémantiques et des descriptions en langage naturel enrichies du contexte de la pièce. Ensuite, un module de traitement des requêtes s'appuyant sur un LLM pour sélectionner la cible, en routant dynamiquement les requêtes vers des experts spécialisés par type et en fusionnant leurs scores pour une sélection d'objectif cohérente quel que soit le formulation de la requête. Enfin, une représentation sémantique nettement plus compacte, avec une réduction de stockage d'environ 96 % par rapport aux approches à scene-graph 3D, tout en conservant l'information spatiale nécessaire à la navigation. Sur le plan des résultats, la représentation 2.5D dépasse la référence 3D de plus de 27 % en AUC normalisée, et le système complet améliore la récupération d'objets de plus de 17 % et le taux de réussite de navigation de plus de 23 % par rapport à la baseline, sur des types de requêtes variés. Pour les robots mobiles autonomes (AMR) et les agents embarqués évoluant en intérieur, ces travaux ciblent un goulot d'étranglement connu des systèmes VLN actuels : la cartographie sémantique existante manque de granularité au niveau des instances individuelles et se montre fragile face à la diversité réelle des formulations utilisateur. En réduisant drastiquement le coût de stockage des cartes tout en gardant leur précision spatiale, l'approche répond à une contrainte concrète de déploiement embarqué, où la mémoire et le calcul restent limités. C'est un signal que la navigation par langage naturel progresse vers une robustesse compatible avec des usages industriels au-delà des démonstrations de laboratoire. Le travail s'inscrit dans la lignée des systèmes VLN combinant cartes spatiales sémantiques et raisonnement par LLM, une direction de recherche active depuis l'essor des modèles de segmentation en vocabulaire ouvert. Les auteurs comparent explicitement leur méthode à des approches de référence en scene-graph 3D, positionnant leur contribution comme une alternative plus légère et plus précise. Le code et les démonstrations sont disponibles sur la page du projet, mais aucun calendrier de déploiement sur robot physique n'est mentionné à ce stade.

RecherchePaper
1 source
VLN en vol : une pile de navigation vision-langage embarquée pour robots aériens
4arXiv cs.RO 

VLN en vol : une pile de navigation vision-langage embarquée pour robots aériens

Une équipe de chercheurs a publié sur arXiv, le 18 septembre 2026 (référence 2609.20191), une étude décrivant "VLN on the Fly", une pile logicielle de navigation par instructions en langage naturel (vision-language navigation, VLN) fonctionnant intégralement à bord d'un robot aérien. Le système enchaîne quatre étages distincts et inspectables plutôt qu'un unique réseau de bout en bout : un modèle vision-langage (VLM) quantifié associe l'instruction textuelle à une cellule grossière de l'image caméra, la carte de profondeur convertit cette cellule en un objectif 3D, un planificateur de trajectoire rapide basé sur des splines B calcule un chemin faisable, puis une politique d'apprentissage par renforcement préentraînée traduit cette trajectoire en commandes moteur pour des quadricoptères. Sur 15 vols embarqués testant trois objets de référence du quotidien dans un volume intérieur contrôlé, le drone atteint sa cible dans 13 cas sur 15, avec une erreur moyenne de 5,72 cm par rapport à l'objectif et une utilisation moyenne du GPU embarqué de 39,3 %. Six essais supplémentaires en environnement encombré montrent des trajectoires sans collision grâce à un filtrage de la perception embarquée. L'intérêt de ces travaux tient à la contrainte de calcul propre aux drones, bien plus sévère que sur des robots au sol ou humanoïdes : grounding, planification et contrôle doivent se partager une puissance embarquée limitée, et une erreur dans un pipeline fusionné en un seul réseau (comme le font la plupart des politiques VLA de bout en bout) est difficile à isoler en vol. En conservant des étages séparés et observables, l'équipe défend une architecture plus sûre et plus facile à diagnostiquer, au prix probable d'une latence ou d'une flexibilité moindre qu'une politique end-to-end. Le chiffre de 39,3 % d'utilisation GPU suggère une marge de calcul disponible, preuve que l'exécution embarquée complète reste viable sans déport vers une station sol ou le cloud, un point clé pour les intégrateurs de drones d'inspection ou de logistique intéressés par un pilotage vocal ou textuel autonome. Il faut toutefois noter la portée limitée de la démonstration : 15 vols, trois objets, un environnement intérieur contrôlé, et un taux d'échec de 2 essais sur 15, loin d'un déploiement industriel validé. Ces travaux s'inscrivent dans le débat plus large opposant les architectures VLA de bout en bout, popularisées par des modèles comme Pi-0 ou GR00T N2 sur des plateformes au sol, à des pipelines modulaires jugés plus sûrs pour des systèmes critiques comme les drones volant à proximité d'humains ou d'obstacles. Aucun acteur français ou européen n'est mentionné dans cette étude, qui reste un prototype de recherche sans annonce de partenariat industriel ni de calendrier de déploiement commercial. Les essais en environnement encombré laissent entrevoir une prochaine étape vers des scénarios plus réalistes, mais aucun pilote opérationnel n'est pour l'instant annoncé.

RecherchePaper
1 source