RecherchearXiv cs.RO 3 août 2026

HAM-VLN : une mémoire agentique hiérarchique pour la navigation vision-langage sans apprentissage préalable

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente HAM-VLN, un système de navigation robotique par instructions en langage naturel (Vision-and-Language Navigation) fonctionnant sans aucun entraînement spécifique, exploitant un modèle multimodal de type LLM pour interpréter les observations visuelles et décider de l'action suivante. Le système introduit une mémoire agentique hiérarchique : à chaque appel du modèle servant à choisir le prochain déplacement, HAM-VLN enregistre aussi des informations sémantiques et réflexives, type de pièce, objets détectés, progression de la navigation, notes d'échec, dans un graphe du monde persistant et ancré en profondeur (depth-grounded). Les points de passage récents restent conservés textuellement dans une fenêtre bornée, tandis que l'historique plus ancien n'est réintégré au contexte que via une recherche pondérée par pertinence, récence et importance, complétée par une expansion topologique à un saut. Sur les benchmarks standards, HAM-VLN atteint 61,0% de taux de réussite sur VLN-CE R2R, 52,7% sur VLN-CE RxR et 79,7% sur HM3D-v2 ObjectNav, avec une réduction de plus de 65% de la longueur de contexte par rapport aux approches précédentes, sans appel LLM supplémentaire au-delà de la décision par point de passage.

L'enjeu principal est le goulot d'étranglement mémoire qui limite aujourd'hui la navigation robotique à long horizon pilotée par LLM : empiler des flux d'images ou des cartes denses dans le contexte d'un modèle devient vite ingérable en coût de calcul et en cohérence de raisonnement. En couplant la génération de mémoire à la décision d'action elle-même, sans multiplier les appels au modèle, HAM-VLN répond à une critique récurrente des approches "training-free" en robotique : leur dépendance à des contextes toujours plus longs et coûteux. Une réduction de 65% de ce contexte, à performances égales ou supérieures, est un signal concret pour les équipes qui cherchent à déployer des agents de navigation en environnement inconnu sans phase de fine-tuning coûteuse.

Ce travail s'inscrit dans la lignée des méthodes récentes de VLN "zero-shot" apparues avec la généralisation des LLM multimodaux, qui remplacent les pipelines de navigation entraînés end-to-end par du raisonnement en langage naturel au moment de l'inférence. Les benchmarks utilisés, VLN-CE (R2R et RxR) et HM3D-v2 ObjectNav, sont des références académiques standard du domaine, ce qui permet une comparaison directe avec les approches concurrentes basées sur mémoire d'images ou cartographie dense. L'article, publié sur arXiv, ne mentionne pas d'implémentation matérielle sur robot réel ni de calendrier de déploiement industriel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Joint apprentissage sur et hors politique pour la navigation vision-langage

Une équipe de chercheurs présente JOP-VLN, un nouveau framework d'apprentissage pour la navigation par instructions en langage naturel (Vision-and-Language Navigation, VLN), où un agent embarqué doit se déplacer dans un environnement physique en suivant des consignes textuelles. L'article, publié sur arXiv (2607.13461v1), combine pour la première fois deux approches jusqu'ici traitées séparément : l'apprentissage par imitation (IL) à partir de démonstrations expertes, renforcé par l'algorithme DAgger pour corriger les erreurs de trajectoire, et l'apprentissage par renforcement (RL) piloté par des récompenses vérifiables pour améliorer le raisonnement et l'exploration. Le pipeline se déroule en trois étapes : acquisition des compétences de base par imitation, génération de trajectoires d'exploration heuristiques via DAgger pour muscler la récupération d'erreurs, puis une phase conjointe on-policy/off-policy combinant échantillonnage de trajectoires à haute entropie et un tri priorisant la correction d'erreurs. Résultat : 69,9% de taux de réussite sur le benchmark VLN-CE R2R et 68,0% sur RxR, un nouveau record sur R2R. Ces chiffres comptent parce qu'ils comblent un angle mort méthodologique de la navigation par modèles vision-langage : la plupart des systèmes actuels choisissent soit l'imitation (stable mais peu exploratoire, sujette à la dérive en cas d'erreur), soit le renforcement (meilleur en exploration mais coûteux et instable à entraîner). Prouver qu'une combinaison structurée des deux surpasse chaque approche isolée est un signal pour les équipes qui développent des agents de navigation embarqués, notamment pour les robots mobiles autonomes (AMR) ou les futurs humanoïdes devant suivre des instructions en environnement non contrôlé, un domaine où la robustesse aux erreurs reste le principal verrou avant tout déploiement réel. Le travail s'inscrit dans la lignée des modèles vision-langage appliqués à la robotique, où des architectures VLA comme GR00T N2 ou Pi-0 cherchent à unifier perception, langage et action. JOP-VLN se positionne spécifiquement sur les benchmarks de référence R2R et RxR, sans annonce de déploiement matériel ni de partenariat industriel à ce stade ; il s'agit pour l'instant d'un résultat de recherche évalué en simulation, la page projet dédiée servant de vitrine aux résultats.

RecherchePaper

1 source

2arXiv cs.RO

Zéro pilote : ancrage métrique persistant pour la navigation aérienne vision-langage sans apprentissage

Une équipe de recherche propose Fly0, un framework de navigation aérienne pilotée par instructions en langage naturel (Vision-Language Navigation, VLN) pour drones, décrit dans un article déposé sur arXiv (version révisée, arXiv:2602.15875v2) et dont le code est publié sur GitHub. Le système repose sur un pipeline en trois étapes qui découple le raisonnement sémantique de la planification géométrique : un modèle multimodal de grande taille (MLLM) traduit d'abord l'instruction textuelle en coordonnées de pixels 2D dans l'image, un module de projection géométrique exploite ensuite les données de profondeur pour localiser la cible en 3D, puis un planificateur géométrique génère une trajectoire sans collision. Ce découplage permet au drone de continuer à naviguer vers son objectif même en cas de perte de contact visuel. Sur des expériences menées en simulation et en environnement réel, les auteurs rapportent un taux de réussite supérieur de plus de 20 points par rapport aux meilleures méthodes existantes, ainsi qu'une erreur de navigation réduite d'environ 50 % dans des environnements non structurés. L'enjeu pratique de ce travail est la latence et la stabilité des systèmes de navigation pilotés par IA générative. Utiliser un MLLM comme contrôleur bas niveau en continu produit typiquement des oscillations de trajectoire et une forte latence, deux défauts rédhibitoires pour un drone évoluant en environnement contraint. En confiant le raisonnement sémantique au MLLM uniquement pour l'ancrage initial de la cible, puis en s'appuyant sur un planificateur géométrique classique pour l'exécution, Fly0 réduit la charge de calcul et évite l'inférence continue, ce qui va dans le sens d'une meilleure applicabilité embarquée pour l'inspection, la logistique ou la surveillance par drone autonome. Ce travail s'inscrit dans une tendance plus large de la recherche en VLN et en robotique aérienne, où l'ancrage géométrique persistant (les auteurs parlent de « metric anchoring ») cherche à corriger les limites des architectures purement bout-en-bout fondées sur les VLA (Vision-Language-Action). Il reste à confirmer, au-delà des métriques annoncées dans l'article, la robustesse du système face à des instructions ambiguës ou des scènes encombrées non couvertes par les jeux de test utilisés, et à voir si cette approche modulaire est reprise par d'autres équipes ou intégrée dans des plateformes commerciales de drones autonomes.

RecherchePaper

1 source

3arXiv cs.RO

Hierarchical Fast-Slow ReAct : un agent de navigation vers un objectif sans apprentissage préalable

Publié en août 2026 sur arXiv, ce travail de recherche présente un agent hiérarchique rapide-lent pour la navigation vers un objet cible en zero-shot (ZSON) : un robot doit localiser une catégorie d'objet dans un bâtiment jamais visité. Les méthodes dominantes choisissent la frontière d'exploration par argmax sur une carte de valeur vision-langage, sans conserver les preuves passées. Le système proposé garde ce contrôleur réactif actif à chaque pas, en construisant une mémoire ancrée sur les coordonnées : grille sémantique des pièces et objets confirmés, plus des images-clés bornées, chaque détection filtrée par un VLM avant écriture. Une couche délibérative relit cette mémoire en boucle bornée raisonnement-récupération-action, se déclenche sur des événements structurels, raisonne d'abord en texte et ne rappelle une image qu'en dernier recours, sous plafonds d'appels et repli automatique. Résultat : 68,75% de succès sur HM3D v1 (val) et 47,29% sur MP3D (val), meilleur score zero-shot comparé ; sur 2000 épisodes HM3D, un argmax simple à la place de la délibération coûte 3,40 points de succès (IC 95% [1,70 ; 5,05]), perte que la délibération systématique ne comble pas. Ce résultat contredit l'hypothèse selon laquelle interroger un VLM à intervalle fixe depuis la vue courante suffit, et qu'une mémoire explicite ne vaut pas son coût de calcul. En montrant qu'une mémoire persistante couplée à une délibération sélective bat l'argmax pur et la délibération exhaustive, l'étude donne un argument concret aux intégrateurs de robots mobiles d'intérieur (logistique, inspection, service) arbitrant entre coût des appels VLM et qualité de décision, et confirme la bascule vers des architectures hybrides rapide-lent en IA incarnée. Le travail s'inscrit dans la lignée des méthodes ZSON à carte de valeur vision-langage, dominantes mais sans mémoire longue, et des architectures plus récentes plaçant un VLM directement dans la boucle de décision, jugées coûteuses et rigides. Il s'appuie sur les benchmarks standards HM3D et MP3D, sous simulateur Habitat, pour se comparer aux méthodes zero-shot existantes. Aucun partenaire industriel n'est mentionné : la validation reste en simulation, l'étape suivante logique étant un test sur robot réel.

RecherchePaper

1 source

4arXiv cs.RO

HiMe : mémoire incarnée hiérarchique pour le contrôle vision-langage-action à long terme

Un article publié le 7 juillet 2026 sur arXiv présente HiMe, un cadre de mémoire hiérarchique pour les modèles Vision-Language-Action (VLA), ces systèmes qui pilotent robots et bras manipulateurs en combinant vision, langage et commande motrice. Les auteurs identifient ce qu'ils appellent le paradoxe fréquence-compétence : les modèles de raisonnement les plus capables sont trop lents pour le contrôle temps réel, tandis que les modèles rapides manquent de capacité de raisonnement pour les tâches longues et non markoviennes, où l'action dépend de tout l'historique et pas seulement de l'observation immédiate. HiMe répond en découplant l'intelligence du robot en trois couches : un Executor haute fréquence pour l'exécution, un Sentry pour la mémoire de travail, et un Planner pour la stratégie long terme, le tout appuyé par une base de connaissances dynamique capable de s'ajouter, se mettre à jour et se supprimer elle même. Pour l'industrie robotique, cette architecture cible un point faible documenté des VLA actuels, à l'image de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure : leur dépendance à l'observation instantanée, qui les fragilise sur des tâches longues ou nécessitant de se souvenir d'une consigne donnée bien plus tôt. Beaucoup de démonstrations spectaculaires de robots humanoïdes reposent sur des séquences courtes et scriptées ; HiMe s'attaque explicitement à l'écart entre ces démonstrations et des tâches réelles multi-étapes, un angle mort souvent pointé par les intégrateurs. Si la séparation entre réactivité et raisonnement tient à l'échelle, elle offrirait une piste concrète pour concilier les deux sans sacrifier l'un pour l'autre. Le travail s'inscrit dans la lignée des recherches sur la mémoire des agents robotiques, qui cherchent à dépasser les architectures VLA à plat où toute l'information transite par une seule fenêtre de contexte. Les auteurs rapportent de meilleurs taux de réussite que ces références plates sur des tâches à horizon long, ainsi qu'une capacité inédite à corriger ses propres connaissances internes selon les préférences exprimées par un humain. Publié sans affiliation industrielle mise en avant, ce travail reste à ce stade une contribution académique : reste à voir si des laboratoires ou fournisseurs de VLA commerciaux comme Physical Intelligence, Nvidia ou Figure s'en inspireront pour des robots déployés en usine ou en entrepôt.

RechercheActu

1 source