Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
OVMAN : une tâche et un benchmark pour la navigation à vocabulaire ouvert sensible au mouvement
RecherchearXiv cs.RO 

OVMAN : une tâche et un benchmark pour la navigation à vocabulaire ouvert sensible au mouvement

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

OVMAN est un nouveau benchmark de navigation robotique (arXiv:2609.06424v2) où un agent doit retrouver, lors d'une deuxième visite, un objet déplacé ou disparu depuis son premier passage, par exemple "va vers la chaise qui a été déplacée" ou "va là où se trouvait le vase". Le jeu de données compte 219 épisodes à deux visites, chacun certifié résoluble par un agent oracle en trois passages, répartis sur six relations de changement dont deux ciblent un emplacement désormais vide. Un navigateur d'objets en zero-shot n'atteint sa cible que dans 12,3% des épisodes, avec des scores quasi nuls sur ces emplacements vidés (0,026 et 0,050). Une carte open-vocabulary auto-actualisée fait grimper le taux de réussite global de 0,396 à 0,479 sans progresser sur ces cas précis, tandis qu'un agent de référence simple plafonne à 45,2% contre 99,5% pour un oracle incarné.

Ces résultats montrent qu'actualiser une carte sémantique de l'environnement ne suffit pas à résoudre la navigation dans un monde qui change entre deux visites, une nuance pour les approches de cartographie continue mises en avant dans la recherche récente. La décomposition d'erreur des auteurs situe le vrai obstacle ailleurs que dans la perception : ni la reconnaissance du nom de l'objet ni le choix final de la réponse ne posent problème, c'est le maintien de l'identité d'une même instance d'un objet d'une visite à l'autre qui échoue. Pour un intégrateur en logistique ou à domicile, où les objets bougent entre deux passages d'un robot, cela déplace l'effort d'ingénierie vers la mémoire et la correspondance d'instances plutôt que vers la seule perception ou le mapping temps réel.

OVMAN s'ajoute aux benchmarks de navigation vision-langage qui supposaient jusqu'ici une scène figée entre la formulation d'une instruction et son exécution, une hypothèse rarement vraie hors laboratoire. Les auteurs publient les 219 épisodes et leur protocole de certification par oracle pour que d'autres équipes puissent comparer leurs systèmes sur cette tâche précise. Aucun acteur commercial ni déploiement produit n'est associé à ce travail, qui reste une contribution académique destinée à orienter les futurs systèmes de navigation embarquée vers la gestion de la mémoire d'instance entre visites.

Dans nos dossiers

arXiv cs.RO

À lire aussi

AnchorVLN : raisonnement vision-langage ancré à la géométrie pour la navigation à vocabulaire ouvert
1arXiv cs.RO 

AnchorVLN : raisonnement vision-langage ancré à la géométrie pour la navigation à vocabulaire ouvert

AnchorVLN, décrit dans un article publié sur arXiv début septembre 2026 (2609.12285v1), répartit la navigation vision-langage en environnement intérieur inconnu entre un modèle vision-langage (VLM), qui propose la sémantique, et un module géométrique dédié, qui calcule les métriques. Implémenté sous le nom EMBODIED-NAV-MCP, un serveur au protocole Model Context Protocol, il pilote l'agent via un jeu d'outils dont aucun n'accepte de distance en mètres ni d'angle en radians. Testé sur le CMU Vision-Language Navigation Challenge 2026, soit 30 questions de suivi d'instructions réparties sur 15 scènes et un ensemble figé de 45 questions de référencement d'objets, le système obtient 64,4 % de réussite en suivi d'instructions, un score qui chute de 13,3 points (t = 2,77) sans modélisation du contrôleur. Sur le référencement d'objets, l'ancrage géométrique valide 10 questions sur 45 contre 0 sur 45 pour une estimation directe des coordonnées par le VLM, ramenant l'erreur médiane de centrage de 3,37 à 2,48 mètres. Ce partage des rôles répond à une limite connue des VLM multimodaux : solides en ancrage de vocabulaire ouvert et en raisonnement zero-shot, ils restent peu fiables pour extraire directement d'une image une distance, un cap ou une comparaison spatiale exploitable. Les approches précédentes codaient la géométrie à la main dans des pipelines dédiés ou faisaient générer des waypoints par le modèle, au prix d'une pile de contrôle à retoucher pour chaque robot, tâche ou vocabulaire. En imposant cette frontière sémantique/géométrie au niveau du schéma des outils plutôt que dans le code métier, AnchorVLN vise une portabilité entre plateformes sans modifier la couche d'autonomie, un enjeu direct pour les intégrateurs gérant des flottes hétérogènes. L'écart de 13,3 points mesuré entre le système complet et sa version sans contrôleur fournit une estimation chiffrée, rare dans ce domaine, du poids réel de l'estimation métrique dans la performance d'un pipeline de navigation piloté par VLM. Le travail s'inscrit dans le CMU Vision-Language Navigation Challenge 2026, une compétition académique de référence pour la navigation en vocabulaire ouvert sans carte préconstruite ni liste fermée d'objets. Il se positionne explicitement contre deux familles d'approches antérieures, la géométrie codée à la main et la génération directe de waypoints par le modèle, en proposant une troisième voie où la contrainte géométrique découle de la définition même des outils accessibles au VLM plutôt que d'une modification du contrôleur. Il s'agit à ce stade d'un résultat de recherche en préimpression, testé sur un périmètre restreint de 15 scènes et 75 questions au total entre les deux tâches, et non d'un produit ou d'un déploiement en conditions réelles ; aucun calendrier de généralisation à d'autres environnements ou à des robots physiques n'est communiqué au-delà du cadre du challenge.

RecherchePaper
1 source
HM3D-M3 : un benchmark pour la navigation multi-agents, multimodale et multi-objets vers un but
2arXiv cs.RO 

HM3D-M3 : un benchmark pour la navigation multi-agents, multimodale et multi-objets vers un but

Des chercheurs publient HM3D-M3, un benchmark de navigation par objectifs qui réunit pour la première fois, dans un même épisode, trois dimensions jusqu'ici étudiées séparément: plusieurs agents, plusieurs modalités et plusieurs objets. Une équipe de K agents démarre depuis des positions dispersées dans une scène intérieure photoréaliste et doit retrouver un ensemble non ordonné de M objets. Chaque objectif est donné sous l'une de trois formes: une catégorie en vocabulaire ouvert, une image d'instance ou une description textuelle d'instance. Le jeu comprend 1 000 épisodes de validation couvrant 3 926 objectifs répartis sur 379 catégories, ainsi que 100 000 échantillons d'entraînement d'assignation observation-objectif. Deux métriques d'équipe sont proposées: un taux de réussite (SR) au niveau de chaque objectif et un SPL normalisé par le makespan, c'est-à-dire par le temps total nécessaire à l'équipe pour finir. Les auteurs fournissent deux références. HiGA est un assigneur hiérarchique d'objectifs entraîné, posé sur une politique de navigation en vocabulaire ouvert gelée. LaViRA-M3 est une équipe d'agents à base de modèles vision-langage (VLM), sans entraînement, qui partagent cartographie et analyse de progression. Les méthodes multi-robots et zero-shot adaptées plafonnent entre 16 et 27 % de SR, contre 38 à 41 % pour les deux références, avec des forces complémentaires et des modes d'échec distincts. LaViRA-M3 a aussi été déployé sur une équipe hétérogène de trois robots. Aucune précision n'est donnée dans le résumé sur les plateformes, l'environnement ni les résultats de ce test physique. L'intérêt tient à l'écart entre ce que promettent les démonstrations de robots de service et ce que mesurent les benchmarks. Une flotte réelle reçoit des demandes mélangées (une photo, un nom d'objet, une consigne parlée) et doit répartir le travail, ce que les évaluations actuelles ne testent pas. Avec moins de 41 % de réussite en simulation, le résultat rappelle que la coordination multi-robots pilotée par langage reste loin d'un niveau exploitable en production. Le fait qu'une approche sans entraînement rivalise avec une approche apprise suggère que le raisonnement des VLM est déjà compétitif sur l'allocation de tâches, mais sans régler la fiabilité. Il s'agit d'un travail académique en simulation (base HM3D), avec une seule démonstration physique, et non d'un produit ni d'un déploiement commercial. Le benchmark servira surtout à comparer des méthodes futures, notamment les systèmes de navigation en vocabulaire ouvert et les architectures vision-langage-action orientées équipes.

RecherchePaper
1 source
SAP-Nav : représentation sémantique spatiale et perception active pour la navigation hiérarchique à vocabulaire ouvert
3arXiv cs.RO 

SAP-Nav : représentation sémantique spatiale et perception active pour la navigation hiérarchique à vocabulaire ouvert

Des chercheurs ont publié sur arXiv (2608.12707v1) SAP-Nav, un framework de navigation robotique zero-shot conçu pour suivre des instructions en langage libre désignant une cible à l'échelle de la scène, de la pièce, de la région ou de l'instance, dans des environnements inconnus (navigation hiérarchique vers des objets à vocabulaire ouvert, ou OVON). Sans entraînement dédié à la tâche ni carte préconstruite, le système bâtit en continu une représentation spatiale sémantique interrogeable à partir des vues de pièces acquises activement par l'agent, et s'appuie sur un module de vérification active du point de vue : si l'observation courante ne fournit pas assez d'indices, l'agent se repositionne vers un emplacement plus informatif avant de confronter les candidats aux contraintes de catégorie et d'attributs. Évalué sur les benchmarks LangMap et HM3D-OVON, SAP-Nav obtient les meilleurs scores globaux, avec un gain de 12,2 points de taux de réussite sur la navigation au niveau région par rapport aux méthodes entraînées spécifiquement. Des tests sur robot réel confirment la faisabilité pratique de l'approche ; le code source ne sera publié qu'après acceptation de l'article. Ce travail répond à une tension classique de la navigation robotique sous observation partielle : l'ancrage spatial exige une mémoire persistante de l'environnement, tandis que la vérification de la cible exige des vues nettes et discriminantes, deux besoins difficiles à concilier simultanément. En misant sur la perception active plutôt que sur un entraînement lourd ou des cartes précalculées, SAP-Nav généralise directement à de nouveaux lieux, un atout pour les robots de service ou les AMR devant exécuter des instructions en langage naturel sans reconfiguration site par site. Le gain annoncé reste toutefois mesuré sur des benchmarks simulés, et la démonstration sur robot réel atteste avant tout une faisabilité technique, pas un déploiement en conditions industrielles. SAP-Nav prolonge LangMap, un travail antérieur qui a formalisé ce cadre hiérarchique en distinguant indices de scène, de pièce, de région et d'instance. Il se positionne comme alternative zero-shot aux méthodes dites "training-based", qui nécessitent un apprentissage spécifique ou des cartes de scène précalculées, tout en restant compatible avec la navigation classique par catégorie. Aucune entreprise ni laboratoire n'est cité dans le résumé, ce qui indique une contribution académique sans partenariat industriel annoncé à ce stade. Les auteurs précisent que le code source sera rendu public uniquement après acceptation de l'article, signe que la publication est encore en cours d'évaluation par les pairs et que la reproduction complète des résultats n'est pas encore possible.

RecherchePaper
1 source
Une représentation topologique par graphes objet-chemin pour la navigation d'instance à vocabulaire ouvert
4arXiv cs.RO 

Une représentation topologique par graphes objet-chemin pour la navigation d'instance à vocabulaire ouvert

Une équipe de recherche a mis en ligne sur arXiv, fin septembre 2026, un article intitulé "A Topological Representation with Object-Path Graphs for Open-Vocabulary Instance Navigation" (arXiv:2609.24189), proposant une nouvelle représentation appelée object-path graph pour la navigation d'agents robotiques guidée par instructions en langage naturel. Le système unifie raisonnement sémantique en vocabulaire ouvert et navigation topologique dans une structure de graphe légère unique, sans recourir à une reconstruction de carte métrique dense. La stratégie de navigation associe une planification de chemin globale sur ce graphe à une exécution locale entre nœuds, via une localisation légère des nœuds et un asservissement visuel sémantique. Les auteurs rapportent des résultats sur les bancs d'essai de simulation HM3D et Replica, complétés par des expériences sur robot réel, sans préciser la plateforme utilisée ni fournir de comparatif chiffré détaillé. L'intérêt de ce travail tient au problème qu'il cible: les graphes de scène offrent une mémoire sémantique compacte, mais restent aujourd'hui déconnectés de l'exécution réelle du déplacement, qui dépend encore de cartes métriques denses coûteuses à construire et à maintenir. En couplant ancrage sémantique en vocabulaire ouvert, localisation par graphe et navigation dans un seul cadre topologique léger, l'approche cherche à réduire la dépendance à la cartographie 3D dense et aux calculs de reconstruction associés. C'est un enjeu très concret pour les intégrateurs déployant des robots mobiles ou des humanoïdes dans des environnements non cartographiés ou évolutifs: une navigation fondée sur un graphe léger plutôt que sur du SLAM dense allègerait le calcul embarqué nécessaire pour exécuter des instructions du type "va chercher tel objet dans telle pièce", un axe qui recoupe les ambitions des architectures vision-langage-action actuelles sans s'y substituer directement. Les méthodes existantes en navigation vision-langage se répartissent globalement entre décomposition séquentielle de décisions guidées par le texte et exploration en ligne sans connaissance préalable des lieux, deux familles limitées respectivement par leur rigidité et leur coût de calcul; les graphes de scène s'étaient imposés comme mémoire sémantique compacte mais sans lien direct avec l'exécution. L'article reste un preprint de recherche démontrant une performance qualifiée de "compétitive" sur des benchmarks standards, non un système prêt au déploiement industriel ni comparé publiquement à des modèles VLA généralistes. Les suites logiques attendues seraient un passage à l'échelle sur des environnements plus vastes et une confrontation directe avec des architectures de navigation concurrentes de plus grande taille.

RecherchePaper
1 source