RecherchearXiv cs.RO 8 juillet 2026

UniLM-Nav : un cadre unifié pour la navigation zero-shot du dernier kilomètre

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent UniLM-Nav, un framework unifie pour la navigation dite du dernier mètre en manipulation mobile, capable de fonctionner en zero-shot sur du vocabulaire ouvert. Le problème vise: un robot peut atteindre les abords d'un objet ou d'un meuble cible sans que sa position finale permette réellement de le manipuler. UniLM-Nav décompose la tache en trois étapes traitées par un seul modèle multimodal de langage (MLLM): sélection de la vue de référence parmi les observations récemment collectées, identification du point d'affordance pertinent pour la tache dans cette vue puis projection dans le repère du robot, et calcul d'une pose de base compatible avec sa géométrie. Sur le benchmark OVMM, la méthode dépasse l'état de l'art précédent, MoTo, de 3,13 points de pourcentage. Les auteurs ont aussi teste le système sur un robot réel, un quadrupède Unitree B2 équipe d'un bras manipulateur Unitree Z1 a 6 degrés de liberté (DoF), validant l'approche au-delà de la simulation.

Ce travail s'attaque a un maillon souvent néglige de la manipulation mobile: s'approcher d'une cible ne suffit pas si la pose finale rend la prise instable ou impossible. Les méthodes existantes réglaient ce problème via une annotation manuelle des poses ou un entrainement spécifique a chaque tache, deux approches couteuses qui passent mal a l'échelle en vocabulaire ouvert. En s'appuyant sur un MLLM partage pour résoudre sélection de vue, ancrage d'affordance et raisonnement géométrique, UniLM-Nav illustre une tendance de fond: les grands modèles multimodaux remplacent progressivement des modules géométriques spécialisés construits a la main. Les auteurs notent que le choix du MLLM sous-jacent a un effet substantiel sur la performance, un point a surveiller pour tout intégrateur voulant reproduire l'approche. Le passage de la simulation a un robot physique réduit un peu l'écart persistant entre démonstrations en laboratoire et déploiement réel qui marque encore la recherche en robotique mobile.

Le problème du dernier mètre est identifie de longue date dans la littérature sur la manipulation mobile, la plupart des pipelines de navigation s'arrêtant a une proximité grossière de la cible sans garantir une pose exploitable pour le bras. La comparaison avec MoTo, présente comme la référence précédente sur OVMM (Open Vocabulary Mobile Manipulation), situe UniLM-Nav dans une lignée de travaux visant a généraliser la manipulation mobile a des objets et environnements non vus a l'entrainement. Le choix du matériel de validation, un quadrupède associe a un bras a 6 DoF, s'inscrit dans une tendance plus large a coupler locomotion a pattes et manipulation pour des environnements non structures. Publie sur arXiv (2607.06537), l'article ne mentionne aucun calendrier de commercialisation: il s'agit a ce stade d'une contribution de recherche, dont la reproduction sur d'autres plateformes testera sa robustesse au-delà du benchmark.

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

AECNav : consolidation active de preuves pour la navigation vers un objet à vocabulaire ouvert en zero-shot

Un article publié sur arXiv sous la référence 2608.10817v1 présente AECNav, un pipeline sans entraînement pour la navigation "zero-shot" vers un objet en vocabulaire ouvert, où un robot doit localiser un objet désigné arbitrairement dans un environnement inconnu. Le système combine une perception à encodage partagé qui élimine les calculs redondants, une consolidation des preuves en croyances de type log-odds par cluster d'objets pour distinguer une vraie cible d'un distracteur visuellement proche, et une exploration active qui privilégie les frontières au meilleur gain d'information pour le moindre coût de déplacement. Sur les benchmarks HM3D-v2, HM3D-OVON et MP3D, il atteint des taux de réussite de 84,7%, 57,3% et 51,3%, et affiche 95% de succès sur 40 essais menés sur un robot quadrupède physique, à environ 5 Hz. Ces résultats répondent à deux limites connues des pipelines zero-shot en vocabulaire ouvert : la latence élevée et le manque de preuves fiables pour confirmer une cible, deux facteurs qui freinent le passage de la démonstration simulée au déploiement réel. En traitant l'absence de détection comme une preuve négative, AECNav réduit les faux positifs causés par des objets visuellement proches de la cible, un problème classique des robots mobiles autonomes. Pour les intégrateurs évaluant des architectures de navigation sémantique ou vision-language-action, la validation sur un robot quadrupède physique, plutôt qu'une simple vidéo sélectionnée, suggère que le zero-shot en vocabulaire ouvert approche de taux de réussite exploitables hors simulation, même si l'échantillon de 40 essais reste limité pour conclure à une robustesse à grande échelle. Le texte est une prépublication arXiv en attente de relecture ; les auteurs précisent que le code ne sera publié qu'après acceptation, ce qui situe ces travaux côté recherche plutôt que produit commercial. AECNav s'inscrit dans la lignée des méthodes de navigation zero-shot déjà explorées par la communauté robotique, dont beaucoup souffrent de pipelines de perception redondants, un défaut que son encodage partagé vise à corriger. Aucun laboratoire, entreprise ou plateforme robotique commerciale n'est nommé dans le résumé ; les essais ont porté sur un robot quadrupède non identifié. La suite logique, si l'article est accepté, passera par la publication du code et des tests à plus grande échelle.

RecherchePaper

1 source

2arXiv cs.RO

SkillNav : intervention par compétence au niveau des scores pour la navigation zero-shot vers un objet

Une équipe de recherche publie SkillNav, un framework de navigation pour agents basés sur des modèles vision-langage (VLM), destiné à la navigation zero-shot vers un objet cible (object-goal navigation). Le système exploite la carte de valeurs de curiosité déjà maintenue par les navigateurs VLM modernes comme support inscriptible sur lequel des compétences comportementales modulaires s'ajoutent sans coût de tokens supplémentaire. Ces compétences sont organisées en trois niveaux d'autorité croissante : le réglage souple (pondération proportionnelle), le renforcement de borne inférieure (garanties au niveau des régions) et le remplacement forcé (actions imposées par seuil), combinés selon un ordre de composition fixe. Le système est entraîné une fois sans réentraînement additionnel (training-free) et établit de nouveaux records sur trois benchmarks de référence : un score SPL de 25,5 sur MP3D, 39,3 sur HM3D v0.1 et 43,2 sur HM3D v0.2, soit une amélioration allant jusqu'à 6,0 points par rapport à la meilleure méthode antérieure, avec les meilleurs taux de réussite observés (69,7 % sur HM3D v0.1 et 75,9 % sur HM3D v0.2). L'enjeu dépasse la simple compétition de benchmarks : les agents de navigation basés sur des VLM en mode zero-shot souffrent typiquement d'un raisonnement image par image, sans mémoire comportementale entre les étapes, ce qui provoque des blocages en cul-de-sac, des boucles dans une même pièce ou des trajectoires détournées vers une cible pourtant détectée. Les correctifs existants, fondés sur l'ajout d'instructions textuelles, alourdissent le budget de tokens et peinent à encoder des signaux intrinsèquement spatiaux comme les angles ou les coordonnées de vue. En inscrivant la mémoire directement sur la carte spatiale plutôt que dans le prompt, SkillNav propose une piste pour améliorer les capacités de navigation par simple ajout de nouvelles compétences, sans retoucher le modèle VLM sous-jacent ni perturber les comportements déjà en place. Ce travail s'inscrit dans la lignée des recherches récentes sur la navigation d'objets sans apprentissage spécifique, où les VLM généralistes sont mobilisés directement comme moteurs de décision pour des robots ou agents simulés, en s'appuyant sur des jeux de données de référence comme Matterport3D (MP3D) et Habitat-Matterport 3D (HM3D). L'approche se positionne face aux méthodes de navigation par prompt engineering, jugées coûteuses en tokens et limitées pour représenter l'espace. En proposant une architecture extensible où chaque nouvelle compétence s'enregistre indépendamment, les auteurs ouvrent la voie à un raffinement continu du comportement de navigation, sans les cycles de réentraînement habituellement nécessaires pour intégrer de nouvelles capacités.

RecherchePaper

1 source

3arXiv cs.RO

REST: arbre de Steiner explorateur à horizon glissant pour la navigation vers un objet en zero-shot

Une équipe de recherche propose REST (Receding Horizon Explorative Steiner Tree), un nouveau cadre de navigation robotique pour la tâche dite de "zero-shot object-goal navigation" (ZSON) : faire trouver un objet cible à un robot dans un environnement totalement inconnu, sans entraînement spécifique à la tâche. Décrit dans une version révisée d'un article déposé sur arXiv (2603.18624v2), le système est entièrement "training-free". Il fonctionne en trois étapes : construction en ligne d'une carte 3D explicite et à vocabulaire ouvert à partir de flux caméra RGB-D, génération d'un arbre de trajectoires sûres et informatives centré sur l'agent via un planificateur par échantillonnage, puis sélection du meilleur chemin par un raisonnement en chaîne de pensée (chain-of-thought) confié à un LLM, chaque branche de l'arbre étant traduite en récit spatial textuel. Testé sur trois benchmarks de référence du domaine, Gibson, HM3D et HSSD, REST se classe systématiquement parmi les meilleures méthodes en taux de réussite et en efficacité de trajectoire. L'apport principal n'est pas le LLM lui-même, déjà largement utilisé pour la navigation sémantique, mais la façon de structurer l'espace des options qu'on lui soumet. Les approches hiérarchiques existantes réduisent généralement chaque candidat à un simple point de destination noté selon son utilité finale, ce qui masque l'information utile collectée en cours de route et empêche de comparer des groupes de trajectoires apparentées. En remplaçant cette liste plate par un arbre de chemins partageant des segments communs, REST permet un raisonnement grossier-vers-fin : le LLM peut écarter ou explorer des branches entières avant d'examiner chaque feuille individuellement, ce qui compresse un espace combinatoire autrement ingérable. Pour les équipes travaillant sur des agents de navigation autonome ou des architectures VLA embarquées, c'est un signal que la qualité de la représentation de l'espace de décision pèse autant que la puissance du modèle de raisonnement utilisé pour trancher. Le travail s'inscrit dans la lignée des méthodes hiérarchiques ZSON qui séparent la représentation de la scène ("belief") de la prise de décision ("policy"), une architecture déjà courante dans la littérature récente sur la navigation sémantique assistée par LLM, mais qui jusqu'ici traitait l'interface entre ces deux modules comme un simple héritage technique plutôt que comme un axe de conception à part entière.

RecherchePaper

1 source

4arXiv cs.RO

CLUE : indices contextuels à priorité adaptative et carte sémantique unifiée pour la navigation zero-shot vers des objets cibles

Des chercheurs ont publié sur arXiv (référence 2605.19206) un framework de navigation baptisé CLUE, conçu pour résoudre le problème de la navigation vers des objets cibles sans entraînement préalable sur ces objets, un défi connu sous le nom de zero-shot object-goal navigation (ZSON). L'idée centrale : un agent robotique doit localiser un objet donné dans un environnement inconnu en exploitant deux types d'indices contextuels, les pièces (un réfrigérateur se trouve presque toujours dans une cuisine) et les objets voisins co-localisés (des ciseaux peuvent se trouver partout, mais souvent près d'un bureau ou d'un plan de travail). CLUE extrait des connaissances de bon sens à partir d'un grand modèle de langage (LLM) utilisé hors ligne, calcule un score d'association entre la cible et les types de pièces, puis construit une carte sémantique unifiée pondérant dynamiquement ces deux sources d'information selon l'ambiguïté de la cible. Un mécanisme de vérification multi-points de vue complète le système. Les expériences menées en simulation et dans des environnements réels montrent que CLUE dépasse les baselines de l'état de l'art sur les métriques de taux de succès (SR) et de succès pondéré par la longueur du chemin (SPL), sans que des chiffres absolus ne soient communiqués dans l'abstract. L'intérêt pratique de cette approche tient à une critique implicite des méthodes existantes : traiter tous les indices contextuels avec le même poids conduit à une exploration inefficace. Pour un intégrateur de robots de service, cela signifie des trajectoires plus courtes et une meilleure résilience dans des environnements non cartographiés, comme les hôpitaux, les entrepôts ou les environnements domestiques. L'utilisation d'un LLM hors ligne, plutôt qu'en inférence temps réel, réduit la latence et les dépendances cloud, un avantage concret pour le déploiement industriel. La démonstration en environnement réel, même si ses conditions exactes ne sont pas précisées, distingue CLUE de nombreux travaux restés en simulation pure. Ce travail s'inscrit dans un champ de recherche actif sur la navigation sémantique, aux côtés de méthodes comme ESC, VLFM ou SemEXP, issues principalement de laboratoires américains (CMU, Georgia Tech, Berkeley). CLUE se positionne comme une couche d'arbitrage contextuel au-dessus de ces approches plutôt que comme une refonte complète de l'architecture. Le papier est une prépublication arXiv, non encore évalué par les pairs, ce qui invite à la prudence sur la généralisabilité des résultats. Aucune affiliation industrielle ni plateforme matérielle spécifique n'est mentionnée. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux (AMR de type Boston Dynamics Spot, Hello Robot Stretch ou plateformes mobiles ROS2-compatibles) et une comparaison sur les benchmarks standardisés HM3D ou Gibson.

RecherchePaper

1 source