Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Joint apprentissage sur et hors politique pour la navigation vision-langage
RecherchearXiv cs.RO 

Joint apprentissage sur et hors politique pour la navigation vision-langage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs présente JOP-VLN, un nouveau framework d'apprentissage pour la navigation par instructions en langage naturel (Vision-and-Language Navigation, VLN), où un agent embarqué doit se déplacer dans un environnement physique en suivant des consignes textuelles. L'article, publié sur arXiv (2607.13461v1), combine pour la première fois deux approches jusqu'ici traitées séparément : l'apprentissage par imitation (IL) à partir de démonstrations expertes, renforcé par l'algorithme DAgger pour corriger les erreurs de trajectoire, et l'apprentissage par renforcement (RL) piloté par des récompenses vérifiables pour améliorer le raisonnement et l'exploration. Le pipeline se déroule en trois étapes : acquisition des compétences de base par imitation, génération de trajectoires d'exploration heuristiques via DAgger pour muscler la récupération d'erreurs, puis une phase conjointe on-policy/off-policy combinant échantillonnage de trajectoires à haute entropie et un tri priorisant la correction d'erreurs. Résultat : 69,9% de taux de réussite sur le benchmark VLN-CE R2R et 68,0% sur RxR, un nouveau record sur R2R.

Ces chiffres comptent parce qu'ils comblent un angle mort méthodologique de la navigation par modèles vision-langage : la plupart des systèmes actuels choisissent soit l'imitation (stable mais peu exploratoire, sujette à la dérive en cas d'erreur), soit le renforcement (meilleur en exploration mais coûteux et instable à entraîner). Prouver qu'une combinaison structurée des deux surpasse chaque approche isolée est un signal pour les équipes qui développent des agents de navigation embarqués, notamment pour les robots mobiles autonomes (AMR) ou les futurs humanoïdes devant suivre des instructions en environnement non contrôlé, un domaine où la robustesse aux erreurs reste le principal verrou avant tout déploiement réel.

Le travail s'inscrit dans la lignée des modèles vision-langage appliqués à la robotique, où des architectures VLA comme GR00T N2 ou Pi-0 cherchent à unifier perception, langage et action. JOP-VLN se positionne spécifiquement sur les benchmarks de référence R2R et RxR, sans annonce de déploiement matériel ni de partenariat industriel à ce stade ; il s'agit pour l'instant d'un résultat de recherche évalué en simulation, la page projet dédiée servant de vitrine aux résultats.

Dans nos dossiers

NVIDIA GR00TarXiv cs.RO

À lire aussi

HAM-VLN : une mémoire agentique hiérarchique pour la navigation vision-langage sans apprentissage préalable
1arXiv cs.RO 

HAM-VLN : une mémoire agentique hiérarchique pour la navigation vision-langage sans apprentissage préalable

Une équipe de recherche présente HAM-VLN, un système de navigation robotique par instructions en langage naturel (Vision-and-Language Navigation) fonctionnant sans aucun entraînement spécifique, exploitant un modèle multimodal de type LLM pour interpréter les observations visuelles et décider de l'action suivante. Le système introduit une mémoire agentique hiérarchique : à chaque appel du modèle servant à choisir le prochain déplacement, HAM-VLN enregistre aussi des informations sémantiques et réflexives, type de pièce, objets détectés, progression de la navigation, notes d'échec, dans un graphe du monde persistant et ancré en profondeur (depth-grounded). Les points de passage récents restent conservés textuellement dans une fenêtre bornée, tandis que l'historique plus ancien n'est réintégré au contexte que via une recherche pondérée par pertinence, récence et importance, complétée par une expansion topologique à un saut. Sur les benchmarks standards, HAM-VLN atteint 61,0% de taux de réussite sur VLN-CE R2R, 52,7% sur VLN-CE RxR et 79,7% sur HM3D-v2 ObjectNav, avec une réduction de plus de 65% de la longueur de contexte par rapport aux approches précédentes, sans appel LLM supplémentaire au-delà de la décision par point de passage. L'enjeu principal est le goulot d'étranglement mémoire qui limite aujourd'hui la navigation robotique à long horizon pilotée par LLM : empiler des flux d'images ou des cartes denses dans le contexte d'un modèle devient vite ingérable en coût de calcul et en cohérence de raisonnement. En couplant la génération de mémoire à la décision d'action elle-même, sans multiplier les appels au modèle, HAM-VLN répond à une critique récurrente des approches "training-free" en robotique : leur dépendance à des contextes toujours plus longs et coûteux. Une réduction de 65% de ce contexte, à performances égales ou supérieures, est un signal concret pour les équipes qui cherchent à déployer des agents de navigation en environnement inconnu sans phase de fine-tuning coûteuse. Ce travail s'inscrit dans la lignée des méthodes récentes de VLN "zero-shot" apparues avec la généralisation des LLM multimodaux, qui remplacent les pipelines de navigation entraînés end-to-end par du raisonnement en langage naturel au moment de l'inférence. Les benchmarks utilisés, VLN-CE (R2R et RxR) et HM3D-v2 ObjectNav, sont des références académiques standard du domaine, ce qui permet une comparaison directe avec les approches concurrentes basées sur mémoire d'images ou cartographie dense. L'article, publié sur arXiv, ne mentionne pas d'implémentation matérielle sur robot réel ni de calendrier de déploiement industriel.

RecherchePaper
1 source
Zéro pilote : ancrage métrique persistant pour la navigation aérienne vision-langage sans apprentissage
2arXiv cs.RO 

Zéro pilote : ancrage métrique persistant pour la navigation aérienne vision-langage sans apprentissage

Une équipe de recherche propose Fly0, un framework de navigation aérienne pilotée par instructions en langage naturel (Vision-Language Navigation, VLN) pour drones, décrit dans un article déposé sur arXiv (version révisée, arXiv:2602.15875v2) et dont le code est publié sur GitHub. Le système repose sur un pipeline en trois étapes qui découple le raisonnement sémantique de la planification géométrique : un modèle multimodal de grande taille (MLLM) traduit d'abord l'instruction textuelle en coordonnées de pixels 2D dans l'image, un module de projection géométrique exploite ensuite les données de profondeur pour localiser la cible en 3D, puis un planificateur géométrique génère une trajectoire sans collision. Ce découplage permet au drone de continuer à naviguer vers son objectif même en cas de perte de contact visuel. Sur des expériences menées en simulation et en environnement réel, les auteurs rapportent un taux de réussite supérieur de plus de 20 points par rapport aux meilleures méthodes existantes, ainsi qu'une erreur de navigation réduite d'environ 50 % dans des environnements non structurés. L'enjeu pratique de ce travail est la latence et la stabilité des systèmes de navigation pilotés par IA générative. Utiliser un MLLM comme contrôleur bas niveau en continu produit typiquement des oscillations de trajectoire et une forte latence, deux défauts rédhibitoires pour un drone évoluant en environnement contraint. En confiant le raisonnement sémantique au MLLM uniquement pour l'ancrage initial de la cible, puis en s'appuyant sur un planificateur géométrique classique pour l'exécution, Fly0 réduit la charge de calcul et évite l'inférence continue, ce qui va dans le sens d'une meilleure applicabilité embarquée pour l'inspection, la logistique ou la surveillance par drone autonome. Ce travail s'inscrit dans une tendance plus large de la recherche en VLN et en robotique aérienne, où l'ancrage géométrique persistant (les auteurs parlent de « metric anchoring ») cherche à corriger les limites des architectures purement bout-en-bout fondées sur les VLA (Vision-Language-Action). Il reste à confirmer, au-delà des métriques annoncées dans l'article, la robustesse du système face à des instructions ambiguës ou des scènes encombrées non couvertes par les jeux de test utilisés, et à voir si cette approche modulaire est reprise par d'autres équipes ou intégrée dans des plateformes commerciales de drones autonomes.

RecherchePaper
1 source
GN0 : vers un paradigme unifié pour la génération, l'évaluation et l'apprentissage de politiques en navigation visuo-langagière
3arXiv cs.RO 

GN0 : vers un paradigme unifié pour la génération, l'évaluation et l'apprentissage de politiques en navigation visuo-langagière

Une équipe de chercheurs publie GN0 (arXiv:2606.03682, juin 2026), un cadre unifié de navigation robotique visuo-linguistique (VLN) structuré autour de trois contributions complémentaires. La première est GN-Matrix, un jeu de données de navigation 3D massif généré automatiquement via un moteur 3D Gaussian Splatting (3DGS), conçu pour pallier la pénurie de données d'entraînement du domaine. La deuxième est GN-Bench, présenté comme le premier benchmark en vue à vol d'oiseau (BEV) intégrant des avatars humains dynamiques en 3DGS pour évaluer les interactions homme-robot en navigation. La troisième est BAE (Break and Establish), un modèle de navigation par apprentissage par renforcement (RL) qui enchaîne apprentissage supervisé, DAgger (agrégation de trajectoires réelles pour sortir des distributions d'experts étroites) et exploration RL. Sur GN-Bench et le benchmark VLN-CE, GN-BAE surpasse les méthodes VLN de l'état de l'art selon les auteurs, sans que les conditions exactes des comparaisons soient détaillées dans le résumé. Le principal apport technique est la formalisation d'une mémoire spatiale compacte en BEV construite à partir de rendus 3DGS haute fidélité, exploitant le raisonnement spatial latent des grands modèles visuels-linguistiques (VLM). L'approche unifie dans un seul modèle de fondation des tâches avec et sans carte préétablie, suivre des instructions, escorter un humain, atteindre un objectif, ce qui contraste avec les pipelines fragmentés habituels du domaine. Si les résultats se confirment en conditions réelles, cela représente un pas concret vers des agents mobiles généraux capables de naviguer dans des environnements non cartographiés, une promesse centrale des robots de service et des AMR de nouvelle génération. La navigation visuo-linguistique est un champ actif depuis les benchmarks R2R (Anderson et al., 2018) et VLN-CE (Krantz et al., 2020). Les approches récentes exploitent des VLM tels que CLIP ou LLaVA pour relier instructions en langage naturel et perception visuelle, mais peinent sur les longues distances et dans des espaces non vus. Côté industrie, Boston Dynamics, Unitree ou les startups AMR intègrent progressivement la navigation sémantique sans publier de systèmes open-research comparables. En Europe, INRIA et des projets Horizon Europe explorent des directions proches. GN0 reste cependant une contribution académique en preprint sans partenaire industriel ni déploiement annoncé, ce qui invite à réserver le jugement sur le passage de la simulation au monde réel.

UEINRIA et des projets Horizon Europe explorent des directions proches en navigation visuo-linguistique, mais GN0 reste un preprint académique sans déploiement ni partenariat industriel européen annoncé.

RechercheOpinion
1 source
HCSG : raisonnement sémantique-géométrique centré sur l'humain pour la navigation vision-langage
4arXiv cs.RO 

HCSG : raisonnement sémantique-géométrique centré sur l'humain pour la navigation vision-langage

Des chercheurs ont publié en mai 2026 HCSG (Human-Centric Semantic-Geometric Reasoning), un cadre de navigation en langage naturel (VLN) conçu pour les environnements intérieurs dynamiques peuplés de piétons, déposé sur arXiv sous la référence 2605.13321. Contrairement aux approches existantes qui traitent les humains comme de simples obstacles mobiles détectés par indices visuels, HCSG introduit un module unifié de compréhension humaine combinant deux capacités complémentaires : la prévision géométrique, qui anticipe poses et trajectoires futures des personnes, et l'interprétation sémantique, qui exploite un modèle vision-langage (VLM) pour générer des descriptions textuelles des actions et intentions perçues. Ces représentations sont fusionnées dans une carte topologique sur laquelle l'agent planifie ses déplacements en fonction des instructions reçues. Une fonction de perte de distance sociale (social distance loss) contraint le robot à maintenir des distances d'interaction socialement acceptables. Sur le benchmark HA-VLNCE, le framework affiche un gain de 14 % sur le taux de succès et une réduction de 34 % du taux de collision face à l'état de l'art, des chiffres à interpréter avec la prudence habituelle réservée aux préprints non encore évalués en pair-à-pair. Ces résultats pointent un changement de paradigme pertinent pour la robotique de service en espace ouvert. La distinction clé de HCSG est de passer d'un évitement passif (détecter puis contourner) à une compréhension active des comportements : le robot infère si un piéton s'apprête à changer de direction, à s'arrêter ou à interagir, ce qui permet une planification plus fluide. L'intégration d'un VLM est cohérente avec la montée en puissance des architectures vision-langage-action (VLA), mais l'article valide ici leur utilité spécifique pour la navigation sociale, pas seulement la manipulation. Pour les intégrateurs de robots de livraison intérieure ou de guidage hospitalier, c'est un signal que les approches purement géométriques atteignent leurs limites dans des environnements non contrôlés. La navigation VLN a progressé rapidement depuis les benchmarks R2R et REVERIE, portée par les transformers de vision et des modèles comme CLIP. HA-VLNCE, sur lequel HCSG est évalué, est une extension de VLN-CE intégrant des agents humains dynamiques, le rapprochant davantage des conditions de déploiement réelles. Les approches concurrentes en navigation sociale incluent des travaux issus de Stanford, CMU ou MIT, et des frameworks comme NaviSTAR. Côté industriel, les robots de Keenon, Aethon ou Savioke opèrent encore largement dans des couloirs semi-contrôlés précisément pour éviter ces problèmes de cohabitation. HCSG reste une contribution académique sans validation industrielle annoncée, mais une page de projet dédiée laisse entrevoir des travaux futurs sur robot physique.

RechercheOpinion
1 source