Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions
RecherchearXiv cs.RO 

VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

VISTA, un nouveau modèle de navigation visuelle présenté en preprint (arXiv:2606.17294), s'attaque à une faille structurelle identifiée dans les Vision Navigation Foundation Models (VNMs) actuels : la normalisation des actions prédites. Lorsqu'un VNM produit des trajectoires normalisées, l'application d'un facteur d'échelle différent selon le robot ou l'environnement déforme la géométrie physique de la trajectoire, ce qui dégrade les performances de navigation et augmente les risques de collision. Pour corriger cela, VISTA conditionne ses prédictions sur l'historique normalisé des actions exécutées, en parallèle des observations visuelles, offrant au modèle un contexte explicite sur la relation entre ses sorties et le déplacement physique réel du robot. Le modèle intègre également un encodeur DINOv3, dont les représentations plus riches permettent de mieux discriminer les environnements visuellement répétitifs (couloirs, entrepôts) où les VNMs classiques peinent à se localiser. En déploiement zéro-shot dans trois environnements réels (extérieur, forêt, bureau), VISTA affiche 100 % de précision dans la prédiction des objectifs et un taux moyen de 95 % de points de passage atteints.

Ce résultat éclaire un angle mort largement sous-estimé dans le déploiement des politiques de navigation généralisées : l'invariance à l'échelle. Un modèle entraîné sur une flotte homogène peut échouer sur un robot dont la calibration diffère légèrement, sans qu'aucun défaut de l'architecture ne soit en cause. VISTA propose une correction légère mais systémique, applicable sans ré-entraînement, ce qui représente un avantage concret pour les intégrateurs qui déploient des politiques de navigation sur des flottes hétérogènes. Les résultats à 100 % méritent toutefois d'être nuancés : ils portent sur trois environnements seulement, et le terme "zéro-shot" désigne ici l'absence de fine-tuning spécifique aux sites de test, non une absence totale de données d'entraînement supervisé.

VISTA s'inscrit dans la montée en puissance des modèles de navigation généraux, portée ces deux dernières années par des travaux comme NoMaD (CMU/Berkeley, 2023) ou GNFactor, qui cherchent tous à produire une politique de déplacement transférable sans adaptation manuelle. L'usage de DINOv3 suit une tendance nette : les encodeurs de la famille DINOv2/v3 (Meta FAIR) s'imposent progressivement comme backbone de référence pour les tâches nécessitant une compréhension géométrique fine de l'environnement. Le preprint ne mentionne ni partenaires industriels ni timeline de commercialisation ; il s'agit à ce stade d'une contribution académique, sans annonce de déploiement à grande échelle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Modélisation du monde conditionnée par le langage pour la navigation visuelle
1arXiv cs.RO 

Modélisation du monde conditionnée par le langage pour la navigation visuelle

Une équipe de chercheurs publie sur arXiv (2603.26741, version 2) un travail sur la navigation visuelle conditionnée par le langage, baptisée LCVN. Dans cette tâche, un agent incarné doit suivre une instruction en langage naturel en ne disposant que d'une observation égocentrique initiale, sans image du but. La perception et le contrôle continu doivent donc être guidés uniquement par le texte. Les auteurs introduisent le jeu de données LCVN, qui regroupe 39 016 trajectoires et 117 048 instructions vérifiées par des humains, couvrant des environnements et des styles de consigne variés. Ils comparent deux approches. La première, l'imagination latente, associe un modèle du monde à base de diffusion (LCVN-WM), qui imagine les observations futures, à un agent acteur-critique (LCVN-AC) dont la politique est apprise entièrement dans cet espace latent imaginé. La seconde, la prédiction autorégressive unifiée (LCVN-Uni), utilise un seul backbone multimodal qui prédit actions et observations en une passe sur une séquence de tokens partagée. Les résultats montrent que les deux approches sont complémentaires. L'imagination latente produit des déroulés plus cohérents dans le temps, tandis que la prédiction unifiée généralise mieux à des environnements jamais vus. Pour un ingénieur robotique ou un intégrateur, l'enseignement porte sur l'arbitrage d'architecture entre un modèle du monde explicite, utile pour la planification, et un modèle unique de type VLA (vision-langage-action), plus robuste hors distribution. Des ablations isolent l'effet du guidage linguistique, des signaux de conditionnement et du style d'instruction. Elles permettent de savoir si le goulot d'étranglement vient de l'ancrage du langage ou de la modélisation de la dynamique. Cette distinction est précieuse pour orienter les investissements, entre meilleures données langagières et meilleurs modèles dynamiques. Il faut cependant rester prudent : il s'agit d'un travail académique évalué sur un benchmark, sans déploiement sur robot physique annoncé. Il ne dit rien du transfert sim-to-real ni des temps de latence en conditions industrielles. Ce travail s'inscrit dans la longue tradition de la navigation visuelle conditionnée par un but image, qui sert de banc d'essai à l'IA incarnée depuis des années. Il rejoint la tendance actuelle qui combine modèles du monde génératifs et politiques linguistiques, portée par des modèles du monde comme ceux de la famille Genie ou Cosmos et par les VLA généralistes (Pi-0, GR00T, Helix), qui visent surtout la manipulation. La navigation par instruction reste moins couverte par ces modèles. Le jeu de données, relativement volumineux pour la tâche, peut servir de référence commune. Aucune suite commerciale ni calendrier de pilote n'est annoncé. La prochaine étape logique serait de tester ces approches hybrides sur du matériel réel, ou d'unifier imagination latente et prédiction autorégressive dans une même architecture.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Réseau de perception visuelle multitâche conditionné par un LLM pour la navigation autonome
2arXiv cs.RO 

Réseau de perception visuelle multitâche conditionné par un LLM pour la navigation autonome

Un article de recherche publié en septembre 2026 sur arXiv (référence 2609.14297) décrit un nouveau framework de navigation autonome pour robots de service, baptisé VL-Navigation. Le système associe un réseau de perception visuelle multi-tâches à un grand modèle de langage (LLM) capable d'interpréter des commandes vocales ou textuelles de l'utilisateur. Contrairement aux approches classiques de planification de trajectoire comme A, RRT, DiPPer ou ViT-A, qui s'appuient sur une carte 2D globale et se dégradent avec l'accumulation de dérive odométrique et d'erreurs de capteurs, VL-Navigation génère des plans d'action séquentiels à partir d'indices visuels locaux et d'instructions géométriques égocentriques. La localisation est réinitialisée à chaque cible intermédiaire, ce qui limite l'accumulation de dérive sans nécessiter la maintenance d'une carte globale cohérente. Les chercheurs annoncent des résultats supérieurs aux méthodes existantes sur des données réelles et simulées, sans toutefois publier dans le résumé de chiffres précis de taux de réussite ou de temps de cycle, ce qui invite à la prudence tant que le travail n'a pas été validé par une relecture par les pairs. Le code source est disponible publiquement sur GitHub, sous le dépôt PraveenSingh24/VL-Navigation. Pour les intégrateurs de robots de service, en hôtellerie, en logistique légère ou en environnement hospitalier, ce travail cible un point de friction bien réel: le coût de maintenance des cartes SLAM dans des lieux qui évoluent constamment, mobilier déplacé, couloirs encombrés, zones en travaux. En confiant à un LLM la traduction d'instructions naturelles en plans d'action locaux plutôt qu'à une carte globale figée, l'approche s'inscrit dans la tendance plus large des modèles vision-langage-action qui cherchent à remplacer une partie du pipeline de cartographie classique par du raisonnement contextuel embarqué. Si les résultats se confirment à plus grande échelle, une telle méthode pourrait réduire le temps d'ingénierie nécessaire au déploiement de flottes mobiles dans des environnements partiellement inconnus, un frein récurrent à la commercialisation de la robotique de service au-delà des démonstrations contrôlées. La dérive odométrique cumulative reste un problème non résolu depuis les débuts de la navigation mobile autonome, et les algorithmes de référence cités dans l'article, A, RRT, DiPPer et ViT-A, illustrent les limites successives des approches purement géométriques face à des environnements dynamiques. VL-Navigation se positionne dans la lignée d'autres travaux récents associant modèles de langage et perception visuelle pour la navigation robotique, un champ en pleine expansion en parallèle des modèles VLA appliqués à la manipulation comme Pi-0 ou GR00T N2. Publié comme preprint sans affiliation industrielle mentionnée, l'article ne précise ni calendrier de déploiement pilote ni partenariat commercial; la mise à disposition du code sur GitHub vise avant tout la reproductibilité par la communauté académique, une étape encore éloignée d'une intégration en produit commercial.

RecherchePaper
1 source
LAPT-Scale : passage à l'échelle des politiques d'IA incarnée par préentraînement d'actions latentes sur des vidéos humaines
3arXiv cs.RO 

LAPT-Scale : passage à l'échelle des politiques d'IA incarnée par préentraînement d'actions latentes sur des vidéos humaines

Des chercheurs publient sur arXiv LAPT-Scale, un cadre de pré-entraînement par actions latentes conçu pour entraîner des politiques robotiques généralistes à partir de vidéos humaines égocentriques, sans étiquettes d'actions robot. Il repose sur deux briques. LAPT-Scale-LAM est un modèle d'actions latentes (LAM) qui apprend des actions continues en expliquant les transitions visuelles image par image, et ces actions servent ensuite de supervision dérivée de l'humain. LAPT-Scale-Policy est une politique VLA (vision-langage-action) entraînée en trois temps: pré-entraînement sur les actions latentes issues de vidéos humaines, alignement sur l'embodiment du robot cible, puis post-entraînement spécifique à la tâche. Le LAM a été entraîné sur 23,3 k heures de vidéo égocentrique. Le résultat chiffré principal concerne le robot réel: le taux de succès passe de 63,3 % à 85,0 % lorsque le volume de vidéo humaine annotée passe de 1 k à 5 k heures. La politique généraliserait aussi à des conditions visuelles inédites. L'intérêt pour l'industrie tient au coût de la collecte de données. La téléopération et les démonstrations sur robot restent le principal goulot d'étranglement des modèles généralistes, alors que les vidéos égocentriques humaines sont abondantes mais sans étiquettes d'actions exploitables. Les méthodes d'annotation existantes sont bruitées dès que les scènes sont visuellement complexes ou que les dynamiques de manipulation varient. Une courbe de montée en charge régulière avec les heures de vidéo suggère que ce canal de données peut remplacer en partie la collecte robotique, ce qui change l'économie du pré-entraînement pour les intégrateurs et les développeurs de modèles. Il faut toutefois rester prudent: il s'agit d'un préprint non évalué par les pairs. Le gain mesuré porte sur un volume de vidéo annotée encore modeste face aux 23,3 k heures du LAM. Le résumé ne précise ni le nombre de tâches, ni le robot, ni le nombre d'essais, ni les benchmarks de comparaison. Le passage du laboratoire à la fiabilité exigée en production reste donc à démontrer. Sur le plan technique, les auteurs se distinguent des LAM précédents, qui utilisent des espaces latents quantifiés vectoriellement (VQ). Leur espace latent continu cherche à préserver les mouvements fins et les dynamiques d'interaction. Ils combinent aussi des signaux d'alignement perceptuel, sémantique et de flux optique pour que la supervision porte sur la transition elle-même plutôt que sur la seule reconstruction des pixels. Cette approche s'inscrit dans la lignée des travaux d'apprentissage à partir de vidéos humaines et d'actions latentes, que poursuivent de nombreux laboratoires et acteurs de la robotique humanoïde, soucieux d'exploiter les vidéos à grande échelle. Aucun déploiement industriel ni calendrier de pilote n'est annoncé. La suite probable est une validation sur davantage de plateformes et de tâches, ainsi qu'une réplication indépendante, avant toute intégration dans un produit.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ReVNM : navigation visuelle par apprentissage à partir d'une caméra distante
4arXiv cs.RO 

ReVNM : navigation visuelle par apprentissage à partir d'une caméra distante

Des chercheurs présentent ReVNM (Remote Visual Navigation Model), un système de navigation robotique qui remplace les cameras embarquées classiques par une unique camera de surveillance fixe et distante du robot. Publie sur arXiv sous la référence 2609.28976 en septembre 2026, le modèle s'appuie sur une architecture VNM (Visual Navigation Model) de référence, enrichie d'un module baptise exo2ego qui convertit la vue exocentrique de la camera fixe en une estimation de profondeur égocentrique, soit la perspective que percevrait le robot lui-même face aux obstacles. Cette conversion permet au système de planifier une trajectoire sans collision même lorsque la camera distante, au champ de vision limite, ne cadre pas les obstacles sous le même angle que le robot. Le modèle a été entraine exclusivement sur des mondes synthétiques générés aléatoirement, avec des dispositions d'obstacles et des points de vue de camera varies, sans aucune donnée réelle. Les auteurs rapportent des résultats positifs en simulation comme sur robot réel, sans réglage fin supplémentaire après cet entrainement purement synthétique. Pour l'industrie de la robotique mobile, l'intérêt est concret: les modèles de navigation visuelle usuels exigent soit une carte préalablement construite pour les trajets longs, soit un traitement d'image embarque couteux en calcul. En s'appuyant sur l'infrastructure de vidéosurveillance déjà présente dans nombre d'entrepôts, usines ou espaces commerciaux, ReVNM ouvre la voie a des robots plus légers et moins chers, délestés de camera et de puissance de calcul embarquées, la camera fixe faisant office a la fois de capteur et de carte implicite de l'environnement. Cela concerne directement les intégrateurs d'AMR cherchant a réduire le cout matériel par unité déployée. La généralisation revendiquée du simulateur au monde réel, sans aucune donnée physique d'entrainement, reste toutefois un résultat obtenu sur des scenarios générés de manière procédurale, et sa robustesse face a la variabilité réelle des entrepôts (éclairage, occlusions, positionnement des cameras existantes) demande a être confirmee au-delà des expériences publiées dans l'article. Le travail s'inscrit dans la lignée des VNM, ces modèles qui font naviguer un robot a partir de simples images plutôt que d'une cartographie géométrique classique de type SLAM, une approche qui a gagne du terrain ces dernières années pour simplifier le déploiement en environnements changeants. Jusqu'ici, ces modèles restaient cantonnes aux trajets courts sans carte préalable ou exigeaient une cartographie géométrique pour la navigation longue distance. ReVNM cherche a lever cette limite en misant sur un capteur d'un genre différent, déjà largement présent dans le monde industriel et commercial, plutôt que sur la vision embarquée. L'article ne mentionne aucun partenaire industriel ni calendrier de déploiement pilote: il s'agit a ce stade d'un travail de recherche valide en simulation et sur un banc d'essai réel restreint, dont l'étape logique suivante serait une évaluation a plus grande échelle dans des sites industriels réels, face a des configurations de camera non vues a l'entrainement.

UEAucun acteur ni déploiement français ou européen n'est mentionne, mais l'approche pourrait intéresser les intégrateurs d'AMR européens cherchant a réduire les couts matériels embarques.

RecherchePaper
1 source