RecherchearXiv cs.RO 3 août 2026

HAM-VLN : une mémoire agentique hiérarchique pour la navigation vision-langage sans apprentissage préalable

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente HAM-VLN, un système de navigation robotique par instructions en langage naturel (Vision-and-Language Navigation) fonctionnant sans aucun entraînement spécifique, exploitant un modèle multimodal de type LLM pour interpréter les observations visuelles et décider de l'action suivante. Le système introduit une mémoire agentique hiérarchique : à chaque appel du modèle servant à choisir le prochain déplacement, HAM-VLN enregistre aussi des informations sémantiques et réflexives, type de pièce, objets détectés, progression de la navigation, notes d'échec, dans un graphe du monde persistant et ancré en profondeur (depth-grounded). Les points de passage récents restent conservés textuellement dans une fenêtre bornée, tandis que l'historique plus ancien n'est réintégré au contexte que via une recherche pondérée par pertinence, récence et importance, complétée par une expansion topologique à un saut. Sur les benchmarks standards, HAM-VLN atteint 61,0% de taux de réussite sur VLN-CE R2R, 52,7% sur VLN-CE RxR et 79,7% sur HM3D-v2 ObjectNav, avec une réduction de plus de 65% de la longueur de contexte par rapport aux approches précédentes, sans appel LLM supplémentaire au-delà de la décision par point de passage.

L'enjeu principal est le goulot d'étranglement mémoire qui limite aujourd'hui la navigation robotique à long horizon pilotée par LLM : empiler des flux d'images ou des cartes denses dans le contexte d'un modèle devient vite ingérable en coût de calcul et en cohérence de raisonnement. En couplant la génération de mémoire à la décision d'action elle-même, sans multiplier les appels au modèle, HAM-VLN répond à une critique récurrente des approches "training-free" en robotique : leur dépendance à des contextes toujours plus longs et coûteux. Une réduction de 65% de ce contexte, à performances égales ou supérieures, est un signal concret pour les équipes qui cherchent à déployer des agents de navigation en environnement inconnu sans phase de fine-tuning coûteuse.

Ce travail s'inscrit dans la lignée des méthodes récentes de VLN "zero-shot" apparues avec la généralisation des LLM multimodaux, qui remplacent les pipelines de navigation entraînés end-to-end par du raisonnement en langage naturel au moment de l'inférence. Les benchmarks utilisés, VLN-CE (R2R et RxR) et HM3D-v2 ObjectNav, sont des références académiques standard du domaine, ce qui permet une comparaison directe avec les approches concurrentes basées sur mémoire d'images ou cartographie dense. L'article, publié sur arXiv, ne mentionne pas d'implémentation matérielle sur robot réel ni de calendrier de déploiement industriel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

LG-VLN : un cadre de navigation vision-langage sans apprentissage préalable, orchestré par états LangGraph

Une équipe de recherche présente LG-VLN, un framework de navigation vision-langage en environnement continu (VLN-CE), dans un preprint arXiv de septembre 2026 (arXiv:2609.15098v1). Contrairement aux méthodes existantes qui s'appuient sur LiDAR ou cameras panoramiques, LG-VLN navigue en zero-shot a partir d'une seule camera RGB monoculaire, grâce a un réseau de reconstruction 3D qui estime profondeur, pose et nuage de points, a des features visuelles CleanDIFT partagées entre géométrie et sémantique, et a une carte de valeur sémantique combinant similarité visuelle et pertinence image-texte via BLIP-2. Tout le pipeline, de l'analyse de l'instruction a la récupération d'échec, est orchestre par LangGraph sous forme de graphe d'états a transitions conditionnelles. Sur un sous-ensemble fixe de 550 épisodes du split val-unseen de R2R-CE, le système atteint 21,3% de réussite et 12,1% de SPL, le code devant être publie ultérieurement. Ces résultats, modestes compares aux meilleures méthodes VLN-CE qui s'appuient sur des capteurs plus riches, montrent néanmoins qu'une navigation purement monoculaire et zero-shot reste possible dans des scènes 3D inédites, sans reentrainement dédié a l'environnement. Pour les intégrateurs robotiques, l'enjeu est économique: une navigation fiable sans LiDAR ni vues panoramiques allégé le cout matériel des plateformes mobiles. Le choix de LangGraph illustre aussi une tendance plus large, l'importation d'outils d'orchestration issus des agents LLM dans des pipelines robotiques jusque-la gérés par des machines a états codées en dur. Les ablations confirment que le partage de features sémantiques entre géométrie et navigation, renforce par la fusion avec BLIP-2, explique l'essentiel du gain, validant l'hypothèse que l'incohérence spatiale-sémantique freinait les pipelines séparés. La VLN-CE vise a faire suivre a des robots des instructions en langage naturel dans des bâtiments jamais vus, un objectif longtemps freine par des capteurs géométriques couteux ou un entrainement lourd propre a chaque environnement. LG-VLN s'appuie plutôt sur des modules de vision pré-entraines existants, CleanDIFT et BLIP-2. Le travail reste une publication de recherche en navigation, distincte des architectures vision-langage-action déployées sur des robots humanoïdes comme Optimus, Pi-0 ou GR00T N2, sans déploiement industriel ni partenaire commercial annonce. La suite dépendra de la publication du code, promise mais non datée, pour vérifier les scores au-delà des 550 épisodes testes.

RecherchePaper

1 source

2arXiv cs.RO

Joint apprentissage sur et hors politique pour la navigation vision-langage

Une équipe de chercheurs présente JOP-VLN, un nouveau framework d'apprentissage pour la navigation par instructions en langage naturel (Vision-and-Language Navigation, VLN), où un agent embarqué doit se déplacer dans un environnement physique en suivant des consignes textuelles. L'article, publié sur arXiv (2607.13461v1), combine pour la première fois deux approches jusqu'ici traitées séparément : l'apprentissage par imitation (IL) à partir de démonstrations expertes, renforcé par l'algorithme DAgger pour corriger les erreurs de trajectoire, et l'apprentissage par renforcement (RL) piloté par des récompenses vérifiables pour améliorer le raisonnement et l'exploration. Le pipeline se déroule en trois étapes : acquisition des compétences de base par imitation, génération de trajectoires d'exploration heuristiques via DAgger pour muscler la récupération d'erreurs, puis une phase conjointe on-policy/off-policy combinant échantillonnage de trajectoires à haute entropie et un tri priorisant la correction d'erreurs. Résultat : 69,9% de taux de réussite sur le benchmark VLN-CE R2R et 68,0% sur RxR, un nouveau record sur R2R. Ces chiffres comptent parce qu'ils comblent un angle mort méthodologique de la navigation par modèles vision-langage : la plupart des systèmes actuels choisissent soit l'imitation (stable mais peu exploratoire, sujette à la dérive en cas d'erreur), soit le renforcement (meilleur en exploration mais coûteux et instable à entraîner). Prouver qu'une combinaison structurée des deux surpasse chaque approche isolée est un signal pour les équipes qui développent des agents de navigation embarqués, notamment pour les robots mobiles autonomes (AMR) ou les futurs humanoïdes devant suivre des instructions en environnement non contrôlé, un domaine où la robustesse aux erreurs reste le principal verrou avant tout déploiement réel. Le travail s'inscrit dans la lignée des modèles vision-langage appliqués à la robotique, où des architectures VLA comme GR00T N2 ou Pi-0 cherchent à unifier perception, langage et action. JOP-VLN se positionne spécifiquement sur les benchmarks de référence R2R et RxR, sans annonce de déploiement matériel ni de partenariat industriel à ce stade ; il s'agit pour l'instant d'un résultat de recherche évalué en simulation, la page projet dédiée servant de vitrine aux résultats.

RecherchePaper

1 source

3arXiv cs.RO

WayFinder : modèle vision-langage-action hiérarchique pour la génération de points de passage sans apprentissage préalable et le contrôle cinématique bas niveau

Des chercheurs proposent WayFinder, un cadre hiérarchique de type Vision-Langage-Action (VLA) destiné à la navigation autonome. Il évite le fine-tuning, coûteux et propre à chaque robot et à chaque tâche. L'architecture sépare deux niveaux. Un modèle de langage multimodal (MLLM) tourne hors du robot, en zero-shot. Il reçoit le contexte linguistique et des cartes d'état, puis génère des waypoints stratégiques. En parallèle et de façon asynchrone, une politique légère embarquée assure le contrôle cinématique en temps réel, à haute fréquence, à partir du retour continu des capteurs. Les tests ont eu lieu uniquement en simulation, dans Microsoft AirSim, sur quatre environnements de complexité variable et avec trois tailles de MLLM, pour arbitrer entre efficacité de prédiction et coût de calcul. Le MLLM n'est interrogé que lors des échecs de navigation. Les auteurs annoncent un taux de réussite supérieur aux politiques bas niveau de référence, avec un gain pouvant atteindre 27,45 %. Ce travail s'attaque à un point de friction connu des VLA : la généralisation impressionnante des modèles se heurte, sur le terrain, à une exécution peu fiable et à des coûts d'adaptation par plateforme. Découpler le raisonnement lent, délégué à un grand modèle distant, du contrôle rapide embarqué est une approche pragmatique pour un intégrateur. Elle évite de réentraîner un modèle pour chaque morphologie et limite les appels d'inférence coûteux, puisque le MLLM n'intervient qu'en cas de blocage. Il faut toutefois relativiser. Le « jusqu'à 27,45 % » est un maximum, dépendant de la configuration retenue. Le papier ne donne ici aucun résultat sur matériel réel, et l'écart entre simulation et déploiement reste entier. La dépendance à un modèle hors bord pose aussi la question de la latence et de la connectivité en environnement industriel. Enfin, la comparaison porte sur des politiques bas niveau de référence, pas sur d'autres VLA hiérarchiques. Le contexte est celui d'une littérature qui multiplie les architectures à deux niveaux, un module de raisonnement lent au-dessus d'un contrôleur rapide, illustrées côté humanoïdes par des systèmes comme Helix ou GR00T. WayFinder applique cette logique à la navigation, en s'appuyant sur AirSim, simulateur classique pour drones et véhicules. Il s'agit d'une prépublication arXiv (v1) et non d'un produit livré, sans partenaire industriel ni pilote annoncé. Les prochaines étapes utiles seraient une validation sur robot physique, une mesure de la latence de bout en bout et des comparaisons directes avec les autres approches hiérarchiques.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Zéro pilote : ancrage métrique persistant pour la navigation aérienne vision-langage sans apprentissage

Une équipe de recherche propose Fly0, un framework de navigation aérienne pilotée par instructions en langage naturel (Vision-Language Navigation, VLN) pour drones, décrit dans un article déposé sur arXiv (version révisée, arXiv:2602.15875v2) et dont le code est publié sur GitHub. Le système repose sur un pipeline en trois étapes qui découple le raisonnement sémantique de la planification géométrique : un modèle multimodal de grande taille (MLLM) traduit d'abord l'instruction textuelle en coordonnées de pixels 2D dans l'image, un module de projection géométrique exploite ensuite les données de profondeur pour localiser la cible en 3D, puis un planificateur géométrique génère une trajectoire sans collision. Ce découplage permet au drone de continuer à naviguer vers son objectif même en cas de perte de contact visuel. Sur des expériences menées en simulation et en environnement réel, les auteurs rapportent un taux de réussite supérieur de plus de 20 points par rapport aux meilleures méthodes existantes, ainsi qu'une erreur de navigation réduite d'environ 50 % dans des environnements non structurés. L'enjeu pratique de ce travail est la latence et la stabilité des systèmes de navigation pilotés par IA générative. Utiliser un MLLM comme contrôleur bas niveau en continu produit typiquement des oscillations de trajectoire et une forte latence, deux défauts rédhibitoires pour un drone évoluant en environnement contraint. En confiant le raisonnement sémantique au MLLM uniquement pour l'ancrage initial de la cible, puis en s'appuyant sur un planificateur géométrique classique pour l'exécution, Fly0 réduit la charge de calcul et évite l'inférence continue, ce qui va dans le sens d'une meilleure applicabilité embarquée pour l'inspection, la logistique ou la surveillance par drone autonome. Ce travail s'inscrit dans une tendance plus large de la recherche en VLN et en robotique aérienne, où l'ancrage géométrique persistant (les auteurs parlent de « metric anchoring ») cherche à corriger les limites des architectures purement bout-en-bout fondées sur les VLA (Vision-Language-Action). Il reste à confirmer, au-delà des métriques annoncées dans l'article, la robustesse du système face à des instructions ambiguës ou des scènes encombrées non couvertes par les jeux de test utilisés, et à voir si cette approche modulaire est reprise par d'autres équipes ou intégrée dans des plateformes commerciales de drones autonomes.

RecherchePaper

1 source