JOIN : jonction bimanuelle assistive conditionnée…

1arXiv cs.RO

Modélisation du monde conditionnée par le langage pour la navigation visuelle

Une équipe de chercheurs publie sur arXiv (2603.26741, version 2) un travail sur la navigation visuelle conditionnée par le langage, baptisée LCVN. Dans cette tâche, un agent incarné doit suivre une instruction en langage naturel en ne disposant que d'une observation égocentrique initiale, sans image du but. La perception et le contrôle continu doivent donc être guidés uniquement par le texte. Les auteurs introduisent le jeu de données LCVN, qui regroupe 39 016 trajectoires et 117 048 instructions vérifiées par des humains, couvrant des environnements et des styles de consigne variés. Ils comparent deux approches. La première, l'imagination latente, associe un modèle du monde à base de diffusion (LCVN-WM), qui imagine les observations futures, à un agent acteur-critique (LCVN-AC) dont la politique est apprise entièrement dans cet espace latent imaginé. La seconde, la prédiction autorégressive unifiée (LCVN-Uni), utilise un seul backbone multimodal qui prédit actions et observations en une passe sur une séquence de tokens partagée. Les résultats montrent que les deux approches sont complémentaires. L'imagination latente produit des déroulés plus cohérents dans le temps, tandis que la prédiction unifiée généralise mieux à des environnements jamais vus. Pour un ingénieur robotique ou un intégrateur, l'enseignement porte sur l'arbitrage d'architecture entre un modèle du monde explicite, utile pour la planification, et un modèle unique de type VLA (vision-langage-action), plus robuste hors distribution. Des ablations isolent l'effet du guidage linguistique, des signaux de conditionnement et du style d'instruction. Elles permettent de savoir si le goulot d'étranglement vient de l'ancrage du langage ou de la modélisation de la dynamique. Cette distinction est précieuse pour orienter les investissements, entre meilleures données langagières et meilleurs modèles dynamiques. Il faut cependant rester prudent : il s'agit d'un travail académique évalué sur un benchmark, sans déploiement sur robot physique annoncé. Il ne dit rien du transfert sim-to-real ni des temps de latence en conditions industrielles. Ce travail s'inscrit dans la longue tradition de la navigation visuelle conditionnée par un but image, qui sert de banc d'essai à l'IA incarnée depuis des années. Il rejoint la tendance actuelle qui combine modèles du monde génératifs et politiques linguistiques, portée par des modèles du monde comme ceux de la famille Genie ou Cosmos et par les VLA généralistes (Pi-0, GR00T, Helix), qui visent surtout la manipulation. La navigation par instruction reste moins couverte par ces modèles. Le jeu de données, relativement volumineux pour la tâche, peut servir de référence commune. Aucune suite commerciale ni calendrier de pilote n'est annoncé. La prochaine étape logique serait de tester ces approches hybrides sur du matériel réel, ou d'unifier imagination latente et prédiction autorégressive dans une même architecture.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions

VISTA, un nouveau modèle de navigation visuelle présenté en preprint (arXiv:2606.17294), s'attaque à une faille structurelle identifiée dans les Vision Navigation Foundation Models (VNMs) actuels : la normalisation des actions prédites. Lorsqu'un VNM produit des trajectoires normalisées, l'application d'un facteur d'échelle différent selon le robot ou l'environnement déforme la géométrie physique de la trajectoire, ce qui dégrade les performances de navigation et augmente les risques de collision. Pour corriger cela, VISTA conditionne ses prédictions sur l'historique normalisé des actions exécutées, en parallèle des observations visuelles, offrant au modèle un contexte explicite sur la relation entre ses sorties et le déplacement physique réel du robot. Le modèle intègre également un encodeur DINOv3, dont les représentations plus riches permettent de mieux discriminer les environnements visuellement répétitifs (couloirs, entrepôts) où les VNMs classiques peinent à se localiser. En déploiement zéro-shot dans trois environnements réels (extérieur, forêt, bureau), VISTA affiche 100 % de précision dans la prédiction des objectifs et un taux moyen de 95 % de points de passage atteints. Ce résultat éclaire un angle mort largement sous-estimé dans le déploiement des politiques de navigation généralisées : l'invariance à l'échelle. Un modèle entraîné sur une flotte homogène peut échouer sur un robot dont la calibration diffère légèrement, sans qu'aucun défaut de l'architecture ne soit en cause. VISTA propose une correction légère mais systémique, applicable sans ré-entraînement, ce qui représente un avantage concret pour les intégrateurs qui déploient des politiques de navigation sur des flottes hétérogènes. Les résultats à 100 % méritent toutefois d'être nuancés : ils portent sur trois environnements seulement, et le terme "zéro-shot" désigne ici l'absence de fine-tuning spécifique aux sites de test, non une absence totale de données d'entraînement supervisé. VISTA s'inscrit dans la montée en puissance des modèles de navigation généraux, portée ces deux dernières années par des travaux comme NoMaD (CMU/Berkeley, 2023) ou GNFactor, qui cherchent tous à produire une politique de déplacement transférable sans adaptation manuelle. L'usage de DINOv3 suit une tendance nette : les encodeurs de la famille DINOv2/v3 (Meta FAIR) s'imposent progressivement comme backbone de référence pour les tâches nécessitant une compréhension géométrique fine de l'environnement. Le preprint ne mentionne ni partenaires industriels ni timeline de commercialisation ; il s'agit à ce stade d'une contribution académique, sans annonce de déploiement à grande échelle.

RechercheOpinion

1 source

3arXiv cs.RO

Apprentissage de représentations de traversabilité conditionnées par le langage pour une navigation visuelle adaptative

Des chercheurs présentent sur arXiv (2610.11622) LaTraNav, un cadre de navigation visuelle qui apprend des représentations de traversabilité conditionnées par le langage. L'architecture est asynchrone: un modèle vision-langage (VLM) lent produit des représentations latentes de la traversabilité et du but de navigation, tandis qu'un planificateur rapide par flow matching, conditionné sur ces représentations, génère les trajectoires directement dans l'espace pixel. L'entraînement repose sur un pipeline de génération de données en simulation, avec trajectoires contrôlables, qui fournit des observations associées à des instructions en langage naturel, des cartes de traversabilité, des positions de but et des trajectoires variées. Une étape de traduction d'image photoréaliste réduit l'écart visuel avec le monde réel. Les évaluations, menées sur des jeux de données de sources multiples, portent sur la segmentation de traversabilité guidée par le langage et la localisation du but (VLM lent), ainsi que sur la planification adaptative de chemin (planificateur rapide). Le résultat chiffré principal est une cadence de mise à jour des trajectoires multipliée par 6,05 à cadence sémantique identique grâce à l'ordonnancement asynchrone. L'intérêt tient à ce que la traversabilité cesse d'être codée en dur. Les chaînes classiques reposent sur des cartes de coûts explicites ou des masques de segmentation avec des critères prédéfinis, qui exigent des règles manuelles et un réglage minutieux pour chaque robot. Ici, la même perception peut s'adapter aux capacités d'une plateforme ou aux préférences d'un opérateur par simple instruction (par exemple éviter l'herbe, accepter un gravier ou franchir un petit obstacle). Pour les intégrateurs, cela réduit le coût de re-paramétrage d'une flotte hétérogène. Le résultat le plus instructif est que le conditionnement latent surpasse l'usage de masques de segmentation explicites, ce qui nuance l'idée que la sortie intermédiaire interprétable est toujours préférable. Les masques dépendent aussi du point de vue et deviennent obsolètes quand la latence de perception augmente, un problème que l'approche asynchrone contourne en laissant le planificateur rapide corriger la trajectoire entre deux mises à jour sémantiques. Ce travail s'inscrit dans la tendance des architectures à deux vitesses, popularisées en manipulation et en humanoïde par des systèmes comme Helix de Figure ou GR00T de NVIDIA, où un module de raisonnement lent guide un contrôleur rapide. Il transpose cette logique à la navigation visuelle, face aux approches VLM directes, trop lentes pour le contrôle réactif, et aux pipelines de cartes de coûts classiques, plus rapides mais rigides. Il faut toutefois rester prudent: l'entraînement est majoritairement simulé, les données d'évaluation sont des jeux de données et non des déploiements sur robot, et le gain de 6,05 fois mesure une fréquence de mise à jour, pas une réussite de mission. Aucun déploiement sur robot réel, plateforme matérielle ni calendrier de transfert industriel n'est annoncé dans le résumé. La validation sur robot physique, en environnement non structuré et sous latence réelle, sera l'étape décisive.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Une enquête complète et une évaluation systématique en conditions réelles de la navigation incarnée par vision et langage

Une nouvelle étude publiée sur arXiv (2607.09792v1) dresse un état des lieux complet de la navigation par vision et langage (VLN), cette capacité qui permet à un robot de comprendre une instruction en langage naturel et de s'orienter dans un environnement inconnu à partir de ses seules perceptions visuelles. Les auteurs classent les méthodes existantes selon deux axes indépendants : le paradigme d'action, qui distingue les architectures hiérarchiques des architectures monolithiques, et le paradigme de modèle, qui oppose les approches discriminatives aux approches génératives. Fait notable, l'étude ne se limite pas à une synthèse bibliographique : elle inclut une évaluation systématique en conditions réelles, menée sur une plateforme robotique physique dans dix scènes différentes. Les résultats chiffrés sont sans appel. Une méthode monolithique représentative, fonctionnant uniquement à partir d'images RGB, atteint 61% de réussite en simulation mais chute à seulement 22% lors des tests réels. À l'inverse, une architecture hiérarchique conserve un taux de succès de 51% en conditions réelles, un écart bien plus faible avec ses performances simulées. Pour l'industrie robotique, ce résultat vient confirmer un soupçon déjà répandu chez les intégrateurs : les scores impressionnants annoncés en simulation ne se transposent pas automatiquement sur le terrain, et l'écart simulation-réel reste un obstacle majeur, y compris pour des approches VLA jugées prometteuses sur le papier. La supériorité relative des architectures hiérarchiques suggère qu'une décomposition explicite des tâches, plutôt qu'un modèle unique bout-en-bout, apporte davantage de robustesse face aux aléas de perception et de contrôle du monde réel, un signal utile pour les décideurs B2B qui évaluent quelle famille d'architecture privilégier avant un déploiement. Ce travail s'inscrit dans un contexte de recherche en pleine expansion autour du VLN, porté par les progrès récents des modèles vision-langage-action, mais où les validations en environnement réel restaient jusqu'ici rares et dispersées. Les auteurs concluent en identifiant les verrous restants en matière de perception, de prise de décision et de contrôle, autant de pistes qu'ils appellent la communauté à approfondir dans les prochains travaux.

RecherchePaper

1 source

JOIN : jonction bimanuelle assistive conditionnée par saisie d'ancrage via opposition, inférence et navigation

À lire aussi

Modélisation du monde conditionnée par le langage pour la navigation visuelle

VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions

Apprentissage de représentations de traversabilité conditionnées par le langage pour une navigation visuelle adaptative

Une enquête complète et une évaluation systématique en conditions réelles de la navigation incarnée par vision et langage