RecherchearXiv cs.RO 15 septembre 2026

HarnessVLN : unifier la navigation incarnée sans entraînement grâce à un harnais d'agents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié HarnessVLN, un article arXiv (2609.15195, catégorie "new") qui présente un cadre zero-shot, sans entraînement spécifique, pour la navigation robotique incarnée guidée par instructions en langage naturel. Son composant central, l'Agent Harness, orchestre perception, récupération d'information, ancrage spatial, navigation, récupération d'erreurs et terminaison de tâche via une interface outil unifiée : il confronte chaque proposition du planificateur aux preuves spatiales disponibles, à la faisabilité géométrique et à la cohérence des sous-objectifs, avant de réinjecter ce retour structuré dans la décision suivante. Une mémoire d'événements hiérarchique suit la progression de la tâche et l'historique d'exécution, tandis qu'un graphe spatiotemporel persistant conserve les preuves spatiales réutilisables et les annotations d'échec pour vérification ultérieure. Un exécuteur de navigation interchangeable convertit les cibles validées en mouvements concrets, permettant au même protocole de couvrir à la fois le suivi d'instructions et la navigation vers un objet désigné. Sur les benchmarks R2R, RxR, HM3D-v2 et HM3D-OVON, le système atteint des taux de réussite respectifs de 60,8 %, 53,9 %, 76,0 % et 59,3 %, dépassant les meilleurs résultats "sans entraînement" publiés jusqu'ici. Un déploiement sur robot humanoïde en environnement réel est également démontré.

L'intérêt tient au problème que le cadre cible directement : les grands modèles multimodaux (MLLM) savent générer des plans d'action plausibles à partir d'images, mais rien ne garantit qu'ils tiennent compte de la géométrie réelle du lieu, de l'avancement effectif de la tâche ou des échecs déjà survenus, ce qui produit des trajectoires incohérentes en pratique. En ajoutant une couche de vérification et de mémoire structurée autour du modèle de langage plutôt qu'en le réentraînant, HarnessVLN suggère que l'architecture de contrôle, davantage que le MLLM sous-jacent, conditionne la robustesse d'un agent de navigation. Le fait qu'un seul protocole couvre suivi d'instructions et navigation vers objet, et se transfère à un humanoïde réel, est un signal pertinent pour les intégrateurs évaluant des piles de navigation zero-shot avant d'investir dans du fine-tuning coûteux en données.

Ce travail s'inscrit dans une vague de recherches qui exploitent des MLLM déjà entraînés comme alternative aux politiques VLN classiques, coûteuses à entraîner et peu généralisables hors de leur distribution d'origine. Les benchmarks utilisés, R2R et RxR pour le suivi d'instructions, HM3D-v2 et HM3D-OVON pour la navigation vers objet, sont des références standards du secteur issues des scans Matterport3D et de l'environnement Habitat. La nature exacte de la plateforme humanoïde testée et l'échelle du pilote ne sont pas précisées dans le résumé, ce qui invite à la prudence sur la portée réelle de cette démonstration. La page du projet est accessible à harnessvln.netlify.app.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Repenser la navigation incarnée grâce au biais inductif relationnel

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.10348) DB-Nav, un framework de navigation robotique incarnée conçu pour la tâche ObjectNav : guider un agent autonome vers un objet cible dans un environnement inconnu, en s'appuyant uniquement sur des observations visuelles. La spécificité de DB-Nav est de ne pas se contenter de détecter où chercher, mais d'identifier activement ce à quoi ne pas faire confiance. Le système décompose les relations objet-contexte en deux biais complémentaires : un biais d'activation, qui propage les indices contextuels fiables dans la carte de l'environnement, et un biais d'inhibition, qui supprime les régions trompeuses via deux mécanismes distincts, la confusion perceptuelle (faux positifs issus des détecteurs open-vocabulary) et la falsification par l'action (zones déjà explorées sans succès). Ces deux biais sont unifiés dans un graphe appelé Relational Activation-Inhibition Exploration Graph, qui module dynamiquement les valeurs d'exploration des frontières candidates à partir des observations en ligne et des échecs passés. L'intérêt opérationnel de cette approche réside dans l'identification d'un problème structurel souvent sous-estimé : les modèles de vision-langage (VLM) utilisés en robotique de navigation produisent des biais systématiques, faux positifs récurrents, priors statiques obsolètes, absence de vérification incarnée, qui contaminent la cartographie et la prise de décision. DB-Nav y répond sans recourir à un raisonnement VLM en ligne coûteux, ce qui le rend à la fois léger et interprétable. Sur les benchmarks ObjectNav standards, le framework surpasse significativement les méthodes existantes en taux de succès (SR) et en succès pondéré par la longueur du chemin (SPL), deux métriques de référence dans l'évaluation de la navigation autonome en intérieur. La tâche ObjectNav est un banc d'essai central de la robotique cognitive depuis plusieurs années, avec des contributions majeures issues de laboratoires comme AI2, Meta ou CMU. Les approches dominantes jusqu'ici s'appuient sur des détecteurs open-vocabulary (CLIP, Grounding DINO) ou des VLM comme GPT-4V pour guider l'exploration, au prix d'une latence et d'une dépendance à des modèles lourds. DB-Nav s'inscrit dans un courant de recherche qui cherche à corriger le "reality gap" des VLM en intégrant un retour d'expérience incarné, une piste que suivent également des équipes travaillant sur les architectures Vision-Language-Action (VLA) pour la robotique mobile. Ce travail reste à ce stade une contribution académique sans déploiement annoncé ; son impact dépendra de son intégration dans des pipelines de navigation réels, notamment pour les robots de service en environnements intérieurs non structurés.

RecherchePaper

1 source

2arXiv cs.RO

IndustryNav : explorer le raisonnement spatial des agents incarnés dans la navigation industrielle dynamique

Des chercheurs ont publié IndustryNav, premier benchmark de navigation industrielle dynamique conçu pour évaluer le raisonnement spatial des agents visuels et langagiers (VLLM) en conditions actives. Le dispositif s'appuie sur douze scénarios d'entrepôt haute fidélité créés sous Unity, intégrant objets mobiles et déplacements humains simulés. Les auteurs proposent un pipeline de navigation PointGoal en zero-shot, combinant vision égocentrique et odométrie globale pour tester la planification à la fois locale et globale. Deux métriques originales, le taux de collision et le taux d'alerte, mesurent spécifiquement les comportements orientés sécurité. Quatorze modèles de pointe ont été testés, dont GPT-5.2, Claude-4.6 et Gemini-3, sur cet ensemble de tâches de navigation dynamique. Les résultats montrent que les modèles propriétaires conservent un avantage constant sur les modèles ouverts, mais qu'aucun agent, quel qu'il soit, ne maîtrise réellement l'évitement d'obstacles, la planification de trajectoire robuste ou l'exploration active. C'est un signal important pour les intégrateurs et décideurs qui envisagent de déployer des agents pilotés par VLLM dans des entrepôts ou des lignes de production: la performance impressionnante de ces modèles sur des benchmarks domestiques statiques ne se transfère pas automatiquement à des environnements industriels dynamiques et peuplés d'humains. Le papier vient ainsi nuancer le discours ambiant sur la maturité des agents incarnés génériques, en montrant que la perception passive ne suffit pas là où la sécurité active est requise. Cette étude comble un vide identifié dans la littérature existante: la quasi-totalité des benchmarks d'agents incarnés se limite à des environnements domestiques passifs et statiques, et évalue des capacités isolées plutôt qu'une performance holistique. IndustryNav se positionne comme le premier effort ciblant spécifiquement le domaine industriel avec complexité dynamique. Publié sur arXiv (version révisée du texte initial), le travail appelle la recherche en robotique incarnée à dépasser la simple perception pour développer des comportements stables, exploratoires et sûrs en environnement réel mouvant, une orientation qui concerne directement les futurs déploiements d'AMR et de robots mobiles en logistique.

RecherchePaper

1 source

3arXiv cs.RO

AnyGoal : exploration multi-agents guidée par vision-langage pour une navigation permanente sans entraînement

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.13878) AnyGoal, une architecture multi-agents de navigation en intérieur conçue pour fonctionner sans entraînement préalable sur les scènes cibles. Le système coordonne plusieurs robots via une carte partagée appelée Bayesian Value Map (BVM), une grille 2D maintenant pour chaque pixel une distribution gaussienne (μ, σ²) représentant la pertinence estimée de l'objectif. Cette carte est mise à jour par fusion pondérée des scores issus d'un modèle vision-langage (VLM), projetés via un masque conique de profondeur, et n'est jamais remise à zéro entre les sous-tâches, permettant une accumulation d'indices dite « lifelong ». Sur le benchmark GOAT-Bench (360 épisodes, 2 669 sous-tâches, configuration physique stricte : pas discrets de 0,25 m, champ de vision horizontal de 42°, sans téléportation), la version bi-agent atteint 52,4 % de taux de réussite par sous-tâche (Subtask SR) pour un SPL de 12,7 %, contre 41,9 % en configuration mono-agent. Ce résultat représente un gain de +27,5 points de pourcentage sur Modular GOAT (24,9 %), le système modulaire de référence précédent, ce qui est substantiel dans un domaine où les progrès se mesurent souvent en quelques points. L'intérêt principal réside dans l'approche sans entraînement : là où la plupart des politiques de navigation end-to-end se dégradent dès qu'elles rencontrent des scènes, des catégories d'objets ou des modalités d'objectif hors distribution, AnyGoal s'appuie sur la généralisation intrinsèque du VLM. L'ablation à quatre variables de perception révèle que l'intégration de détecteurs open-vocabulary déplace le goulot d'étranglement : la cause principale d'échec n'est plus l'exploration, mais la vérification de l'objectif, un déplacement de problème qui oriente clairement les futurs travaux. AnyGoal s'inscrit dans la lignée des travaux tentant de remplacer les pipelines fermés (détection à ensemble d'objets fixe, comme dans Modular GOAT) et les mémoires 3D denses (comme 3D-Mem, coûteuses à maintenir et sensibles au point de vue) par des représentations légères pilotées par le langage. La coordination multi-agents repose ici sur un allocateur glouton avec pénalité de séparation spatiale et hysteresis d'engagement, sans contrôleur centralisé, ce qui simplifie le déploiement. L'architecture reste à ce stade une contribution de recherche publiée sur preprint ; aucun pilote industriel ni déploiement réel n'est annoncé. Les prochaines étapes naturelles concernent la robustesse du VLM à la vérification de but et l'extension à des environnements semi-structurés ou extérieurs, où la généralisation sera encore plus mise à l'épreuve.

RecherchePaper

1 source

4arXiv cs.RO

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée

Des chercheurs publient ASENA, un système d'agent incarné qui relie des agents de codage généralistes aux capteurs, au calcul, à l'exécution supervisée et à une mémoire persistante d'un robot. L'agent écrit et exécute des programmes, relit les résultats enregistrés, corrige ses échecs et réutilise des notes et des compétences exécutables, le tout sans modifier les poids du modèle. Le système s'accompagne d'ASENA-VLN, une politique de navigation monoculaire de 4 milliards de paramètres, proposée comme outil optionnel. Elle prédit des trajectoires dans le repère du corps, pour des itinéraires longs comme pour des comportements à court horizon, grâce à un décodeur vision-langage unique. Celui-ci est entraîné sur des instructions de parcours, des questions-réponses visuelles et un nouveau jeu de tâches de navigation « atomiques » dérivées de la géométrie. Seule, la politique atteint 68,7 % de succès sur R2R et 70,2 % sur RxR, ce que les auteurs présentent comme l'état de l'art. Couplée à l'agent de codage, elle ajoute 11 points de succès sur les deux benchmarks agentiques tout en réduisant le temps d'exécution. Dix passes sur des sous-ensembles récurrents de 100 tâches, avec retour du simulateur, font passer le succès de 72 % à 98 % sur R2R et de 65 % à 89 % sur RxR. En question-réponse incarnée, ASENA annonce aussi la meilleure précision, avec moins d'étapes d'interaction. Des démonstrations réelles sur un Unitree G1 combinent recherche, inspection visuelle, raisonnement spatial et gestes synthétisés, sans carte préalable. L'intérêt tient moins au score de navigation qu'à l'architecture. Ici, l'amélioration ne passe pas par un réentraînement : elle vient de la mémoire de l'agent (notes, scripts, compétences), ce qui rapproche le robot d'un logiciel qu'on débogue que d'un modèle qu'on affine. Pour un intégrateur, cela ouvre la voie à une adaptation d'un site à l'autre sans cycle de collecte de données ni de fine-tuning. Il faut toutefois lire les gains avec prudence. Le passage de 72 % à 98 % est mesuré sur des sous-ensembles de 100 tâches rejouées dix fois avec retour du simulateur : cela ressemble davantage à une mémorisation de tâches récurrentes qu'à une généralisation à des environnements inédits. Les résultats chiffrés restent obtenus en simulation, et les démonstrations sur G1 sont qualitatives, sans taux de réussite, durée ni nombre d'essais publiés. L'écart entre démonstration et fiabilité en conditions réelles reste donc entier. Ce travail s'inscrit dans deux tendances qui convergent : les politiques vision-langage-action pour la navigation, évaluées sur R2R et RxR, et les agents de codage appliqués à la robotique, où le LLM génère du code plutôt que des commandes bas niveau. En faisant de la politique apprise un simple outil parmi d'autres, ASENA se positionne à l'opposé des approches de bout en bout comme Pi-0 ou GR00T, qui concentrent tout dans un seul modèle. Le G1 de Unitree, plateforme humanoïde à bas coût largement répandue en recherche, sert de support. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs. Le code, les jeux de données et d'éventuels tests hors simulation seront les vrais juges de la portée du système.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source